Еще раз про сильный ИИ

[ozheredov]

Создатели DirectX - физические системы наподобие самонаводящихся ракет, ячеек Бенара, шариков на пружинке и т.п., у них не может быть целей. Прогноз и управление поведением через язык "целей" - это антропоморфная абстракция. Работает это так же, как в случае с видеокартой: мы ничего не знаем об устройстве человека как физического объекта. Точнее, знаем что-то, что позволяет его как-то лечить и предсказывать инвалидность или смерть, но не предсказывать и управлять его поведением в, скажем так, "штатной ситуации". То есть имеем мировоззрение А, в котором человек это самоходная ёмкость с клешнями наподобие мусоровозки, приезжающей по утрам на помойку забирать отходы, и мировоззрение В, в котором человек это венец творенья, с блэк-джеком и свободой воли, ну патамушта поставлю я вот сейчас цель пойти в магаз за пивом, и что, не пойду чтоли? Конечно пойду. И вот Чип и Дейл Хакен и Пригожин спешат на помощь - выполнять общественный заказ по зашиванию дырки в разорванном шаблоне, выкатив компромиссное мировоззрение в виде

druggist в сообщении #1641899 писал(а):

в неравновесных условиях возможно зарождение и развитие диссипативных структур. Но не как "стремление", а как стационарные(включая периодические и странные аттракторы) решения физических уравнений (стат. физика, физ. кинетика, гидромеханика и пр.). Вот из этих уравнений и "вылезают"(путем нетривиальных упрощений) диссипативные структуры.

Этого оказалось достаточно, чтобы все кому не лень начали отождествлять людей с ячейками Бенара, облаками Кармана, реакцией Белоусова-Жаботинского и прочими симпл-димплами для разминки мозгов. Такое компромиссное мировоззрение (чилавек это симпл-димпл наподобие ячеек Бенара, только уж больно сложный) было популярно в конце 70-х - начале 80-х, отсюда Вы можете оценить возраст пользователя Dicson (я оценил его по независимым критериям - результаты примерно совпадают). Примерно в конце 2000-х про объяснение эмерджентных явлений в поведении мусоровозки с клешнями при помощи "самоорганизованной критичности" практически забыли, поскольку на передний план вышло новое мировоззрение - чилавек это нейросеть, засунутая в робота, только уж больно сложная. Такой концепции придерживаются многие на форуме, отсюда Вы можете оценить возраст этих многих (я оценил их по независимым критериям - результаты примерно совпадают).

druggist в сообщении #1641902 писал(а):

у создателей DirectX была цель создать систему управления

Интересное, кстати, замечание - у создателей видеокарт была цель сделать свои девайсы доступными для программирования и анализа простыми средствами высокоуровнего языка, чтоб не самые скилловые программисты могли клепать игры, а пользователи - покупать видеокарты, чтоб тянули эти самые игры. То есть доступный высокоабстрактный интерфейс в данном случае был присобачен в видеокарте не сам собой и не случайно, а в результате движения к цели заработать себе денег. Если перенести эту логику на человека, получится вот что: человек - это система белковых молекул со столь сложной физикой, что в ней в ближайшие сто лет фиг разберешься. Но кто-то, руководствуясь своими целями, присобачил к этой системе прослойку, обеспечивающую высокоабстрактный и понятный обывателю интерфейс в виде антропоморфных суждений, (кто-то = аспиранты и стажёры созвездия Гончих Псов, кто хорошо знает LORE форума, тот поймет, но если надо я дам сылку на соответствующие темы (а то и сообщения)). Отсюда, конечно, немедленно следует невоспроизводимость человека, аналогично невоспроизводимости видеокарты с пятиступенчатой защитой чипа от копировния никем, кроме разработчика. Естественно, тут притянуто за уши все, что можно было притянуть - но критическое мышление (tm) не предписывает ограничивать экстраполяцию соображений про DirectX какими-либо рамками

[Dicson]

MoonWatcher в сообщении #1641876 писал(а):

Жаль, что об этом не знает Джеффри Хинтон, Илья Суцкевер и другие крупные специалисты, которые считают статистику дорогой к AGI.

Может, вы просто плохо о них думаете? Потому что ваша ссылка вас же опровергает. В вашей ссылке фактически утверждается, что просто статистики недостаточно, от галлюцинаций просто так не избавиться, то есть, помимо масштабирования параметров, нужны ещё и качественные изменения модели. И вот только тогда, возможно, с галлюцинациями справится получится. При этом суть аргументов, почему галлюцинаций должно стать меньше, очевидная: приближать ИИ к возможностям человека. То есть в вашей ссылке говорится то же самое, что я вам пытаюсь объяснить, и что вообще очевидно.

MoonWatcher в сообщении #1641876 писал(а):

Я точно помню, что такой срок давал Сэм Альтман, но надо искать. Оптимистично настроен и Мустафа Сулейман, а Демис Хассабис говорил, что "полагаю, возможности самонаблюдения и планирования помогут с такими проблемами как галлюцинации".

Вы утверждали, что «Прогнозы специалистов говорят об обратном - они обещают, что через пару лет галлюцинаций уже не будет.». Однако «пара лет» — это срок, который Хассабис из вашей ссылки отводит только на старт разработок качественно новых моделей, а что там с ними будет, ещё неизвестно: «Я всегда выступал за тестирование агентов в жестких имитационных песочницах перед тем, как выпускать их в Интернет. Есть много других предложений, но я думаю, что отрасль должна начать действительно думать о появлении таких систем. Возможно, это займет пару лет, а может и меньше. Но это системы другого класса.»

Что со всеми моделями в итоге будет, читайте ниже.

MoonWatcher в сообщении #1641876 писал(а):

Остальное не комментирую - вы там с сами с собой дискутируете.

Да, верно, в начале моего поста аргументы приведены в форме ответов на предполагаемые вопросы оппонента. В чём проблема? Вы в такой форме аргументы не воспринимаете? Ну, наверное, вы не настолько глупы. Так в чём же дело? Пока вы думаете, как выкрутиться, вот ещё в том же стиле.

Если задать один и тот же вопрос чат-боту и специалисту, то в идеале ответы будут похожи, потому что они оба исходят из того, что в этой области знания на данный момент известно. Только чат-бот ответит и отключится, а человека и вопрос, и ответ обучат, так как наш мозг постоянно обучается. И может быть, что эти изменения, вкупе с другими, приведут человека к новой идее — и в конечном итоге к новому тексту для ИИ. Иными словами, ИИ вторичен и ведом.

Если же сделать ИИ тоже постоянно обучающимся, то у нас правильность знаний контролирует сама жизнь — мы, как говорится, на собственной шкуре знаем цену ошибок. А у ИИ что правильность знаний контролирует? Как вы считаете? Видимо, вы ответите, что опыт? Ощущений-то у ИИ нет, самосохранение ему неведомо. Однако никакой опыт не гарантирует адекватность при дальнейшем обучении, потому что из каждого сколь угодно обученного состояния есть множество неадекватных путей. Поэтому контролируем правильность знаний ИИ всегда мы, а мы выше головы не прыгнем, и что-то непонятное развивать не сможем.

В итоге всегда будет то, что я вам сразу и написал: «сложность поведения ИИ может только бесконечно приближаться к сложности поведения человека.». И почему так, написал: «ИИ существует "внутри" опыта людей, так как создаёт и обучает его человек. В то же время сам ИИ развиваться не сможет, так как он не диссипативная структура. ИИ среда только разрушает, диссипативные структуры среда создаёт, поэтому эволюционировать и самосохраняться умеют только они.».

В этом экзистенциальная проблема бытия ИИ.

MoonWatcher в сообщении #1641876 писал(а):

А при чем здесь работа человека за зарплату? Ему дают поручения - он их выполняет. Чем это предпочтительнее аналогичного выполнения поручений искусственным интеллектом - помимо того, что "основание любой жизни"?

Вы написали, что «ИИ будет работать 24/7 без всякой мотивации». Я с этим и не спорю. Но при этом вы утверждали, что «У человека на работе, если он не военный/полицейский/пожарный и т.д., нет никакого стремления к самосохранению - у него, в массе, есть стремление поменьше работать и побольше получать.». Я вам объяснил, что стремление к самосохранению есть у всех. Вот, собственно, и всё по этому поводу.

MoonWatcher в сообщении #1641876 писал(а):

Так и люди ведомые, в своей абсолютной массе - им дают получения, они их выполняют. По мере повышения качества агентов ИИ будет расти и их самостоятельность.

Дело не в росте самостоятельности ИИ, которая в чём-то, может быть, и вырастет. А в том, что при этом «не ИИ, подумав и порешав между собой, будут человека от работы отстранять, а человек будет решать, где ИИ место, чтобы человеку хорошо было.».

MoonWatcher в сообщении #1641876 писал(а):

Да, ИИ за последний год научился неплохо ориентироваться в пространстве, описывать его, предсказывать и т.д. Я уже не говорю про обучение роботов на виртуальной реальности. Тонкая моторика как таковая есть уже много лет - сложность состоит прежде всего в её автономном выполнении. Сейчас, когда возникают предпосылки для интеллектуальных роботов, будут активно совершенствовать и моторику.

Я вас спрашивал про уборку квартиры. Ваш ответ, как я понимаю, состоит в том, что ИИ даже и близко к этому не приблизился. Верно? Потому что именно это следует из того, что вы написали. Или пришлите ссылки хоть на что-то работающее, хоть как-то близкое к поведению такой сложности.

MoonWatcher в сообщении #1641876 писал(а):

Вы не смотрели анонсы Gemini и GPT-4o?

Принципиально это тот же чат-бот. Та же хорошая штука, но из-за галлюцинаций, что с ней делать, непонятно. Но у нас тема не о достижениях ИИ, а о том, сможет ли ИИ стать СИИ. Не опровергают ли какие-то нынешние достижения ИИ мою точку зрения, что СИИ невозможен? Нет, Gemini и GPT-4o от СИИ далеки и ничего из мною сказанного не опровергают.

MoonWatcher в сообщении #1641876 писал(а):

Насчет того как далеко зашло - не знаю, со времени презентации несколько месяцев прошло. Несколько меньше, чем от первых прототипов ткацких станков или паровых машин до нормальных серийных моделей - тогда это заняло десятки лет.

Хорошо, подождём.

MoonWatcher в сообщении #1641876 писал(а):

Больше похоже на то, что вы пишете откуда-то из 2000х годов, где на уровне философских категорий доказываете невозможность того, что уже существует в 2020х... Вы совсем не следите за новостями?

Что существует с 2020-х? Вы написали, что «Мировой видео-архив, виртуальная реальность - это вполне реальный базис для обучения мультимодальных систем любой физической работе.». Я вам ответил: «Чтобы это всё стало обучающими примерами, нужна соответствующая система. Примеров самих по себе недостаточно.».

И сейчас вы продолжаете настаивать, что такие системы уже существуют? Тогда приведите пример уже существующей системы, которую достаточно только обучить, и она будет делать любую физическую работу. Со ссылками, естественно. Иначе вы опять к потенциально потенциальным потенциям и верованиям обратитесь, а это уже тяжело читать.

MoonWatcher в сообщении #1641876 писал(а):

Не важно какие там у него бабочки в животе порхают, пока он влюблен - важно то как любовь возникает, умирает, проявляется и т.д. А это - контекст фактов, а не его внутренние переживания, которые в контексте познавания мира не стоят абсолютно ничего. Ноль.

Внутренние переживания — это не контекст фактов? Вы их чувствуете, они влияют на ваше поведение. Самый что ни на есть контекст, самых что ни на есть фактов. Именно посредством внутренних переживаний, из всего спектра которых вы можете обозначить словами только их ничтожную часть, мы отделяем верное от неверного, реальность от фантазий. А вот ИИ этот контекст фактов недоступен, что из-за этого происходит — см. начало поста.

MoonWatcher в сообщении #1641876 писал(а):

Ключевая фраза "у ИИ таких переходов нет и быть не может". Откуда вы это взяли - математика запрещает эмерджентность, это разве чисто биологическое явление?

Вы прочитали вот это: «Суть перехода: увеличение интенсивности обмена со средой и рост количества флуктуаций (количественные изменения) в какой-то момент приводит к скачкообразному перестроению системы на новый уровень сложности (появление нового качества).»?

И где это, по-вашему, может быть в ИИ? Куда вы это в ИНС приткнёте? Увеличение интенсивности обмена со средой, флуктуации - где это вообще в ИНС? Скачкообразное перестроение всей структуры сети, как вы себе представляете? Взяла и перестроилась. Как организм в ходе эволюции перестраивается? Его никто не перестраивает, программы перестроения заранее нигде нет. В общем, нет, в ИИ переходов в новое качество быть не может. И явление это не биологическое, а физическое.

MoonWatcher в сообщении #1641876 писал(а):

Путь будет не сто, а тысяча триллионов - что это меняет? Число параметров ИНС росло на порядки раньше - будет расти на порядки и впредь.

Пусть вначале вырастет. Если туземцу смартфон дать, он в нём только досочку со стёклышком разглядит. А мы-то знаем, что главное внутри. Так же и в мозге — помимо количества, важно качество. Экстрасинаптическая передача и совсем не дискретность синаптической, рост и отмирание связей, неравновесность, хаос и самоорганизация, генетическая программа. Все это тоже отличает мозг от ИИ.

MoonWatcher в сообщении #1641876 писал(а):

Это не я грезил - это краеугольный факт современной истории ИИ, эмерджентность называется.

Галиматья это называется. Слышал звон, не знаю где он.

MoonWatcher в сообщении #1641876 писал(а):

А еще ИИ не упрощенное подобие человеческого разума - он (если говорить про ИНС) просто вдохновлен какими-то элементами устройства человеческого мозга.

Чем конкретно ваше «вдохновлён какими-то элементами устройства человеческого мозга» отличается от моего «упрощенное подобие человеческого разума»?

Чтобы вам легче думалось, цитата из Википедии: «Нейро́нная сеть[1] (также иску́сственная нейро́нная сеть, ИНС, или просто нейросе́ть) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.».

MoonWatcher в сообщении #1641876 писал(а):

Нет, «агенты» НЕ будут заранее знать, как правильно должна функционировать система. Откуда вы это взяли не имею понятия.

Вы предлагали вариант того, как может происходить перестройка системы в новое качество. По-вашему, агенты будут вносить случайные изменения в ИИ и затем сравнивать с результатом. Чтобы сравнить, надо заранее знать, какой результат нужен. Иначе сравнение не имеет смысла. То есть вы написали чушь. О чём я вам и сообщил.

MoonWatcher в сообщении #1641876 писал(а):

Какое отношение ячейки Бенара, диссипативные структуры, самоорганизация и прочие умные слова имеют к агентам ИИ я тоже не понял.

Диссипативные структуры здесь при том, что только у таких физических систем есть возможность без какого-либо предварительного плана скачком перестраиваться в более сложное, но адекватное среде состояние. То есть совершать тот самый качественный переход. Откройте Википедию, прочитайте, что это такое.

MoonWatcher в сообщении #1641876 писал(а):

Гомеостаз - это что-то из области бытия: самоорганизация материи и прочая синергетика.

Это всё наука, а бытие — это философия. Разные вещи.

MoonWatcher в сообщении #1641876 писал(а):

А стремление - это стремление. Я заказываю такси на Дубровку - и таксист стремится меня туда доставить. Чем это отличается от стремления автопилота сделать то же самое? Квалиа и прочими бабочками, порхающими в животе у таксиста?

У вас есть стремления, вы их ощущаете? Вы чего-то хотите, чего-то ждёте, на что-то рассчитываете? Так вот единственным известным нам явлением, которое можно отнести к стремлениям, является гомеостаз. Организм — это диссипативная структура. То есть весь организм как одно целое поддерживает гомеостаз, простой пример такой системы ячейки Бенара. Нейронная сеть мозга всего лишь проецирует динамику гомеостаза в перемещения в среде и конкретные цели этих перемещений. Ну а вы на уровне мозга ощущаете гомеостаз в том числе как свои стремления. Всё просто.

MoonWatcher в сообщении #1641876 писал(а):

ИИ делает и открытия - но мы вроде про AGI говорили.

Какие открытия сделал ИИ?

MoonWatcher в сообщении #1641876 писал(а):

Если вы видите проблему в том, что для выводов ИИ нужны тексты, то проблемы нет - Ньютону для выводов тоже нужны были тексты.

Тексты Ньютону были нужны, конечно. Но только для того, чтобы на уже открытое другими время не терять. А новая идея — это всегда обобщение не только старых текстов, а всего воспринимаемого в целом. Иначе наши знания никакой связи с реальностью бы не имели. Любые наши тексты — это производная от реального мира в преломлении опыта.

MoonWatcher в сообщении #1641876 писал(а):

Во-первых, понятность или непонятность устройства или принятия решений никакого отношения к свободе воли не имеет. Генератор случайных числе совершенно непредсказуем - но он тоже программа.

Всё-таки прочитайте вначале, что я написал про свободу воли, а потом уже опровергайте. Про случайность у меня тоже написано.

MoonWatcher в сообщении #1641876 писал(а):

Какие и как - можно почитать здесь
и здесь.

В ваших ссылках ничего о сознании не нашёл. Процитируйте. Может, я пропустил.

MoonWatcher в сообщении #1641876 писал(а):

Вы же сами говорите, что никто не знает что такое сознание - так откуда ваша уверенность, что это нечто непонятное и неведомое нам не возникнет спонтанно в какой-то сложной системе?

Потому что ИИ по физическим свойствам практически полностью противоположен ЕИ. Поэтому если сознание есть у нас, то его не может быть у ИИ и наоборот. Ну и целая куча более конкретных аргументов есть на этот счёт. Просто вы их сейчас всё равно не поймёте, не за чем стараться.

MoonWatcher в сообщении #1641876 писал(а):

Что касается инвестиций в ИИ и его будущего, то мнения ученых разделились примерно пополам.

Странно. По-вашему, ИИ — это прям золотое дно. Вас послушать, ИИ чуть ли не на днях уже всё сможет. Чего бы не вложиться.

druggist в сообщении #1641899 писал(а):

И не надо сюда привлекать метафизическое "стремление к самосохранению".

Цитата:

Гомеоста́з (др.-греч. ὁμοιοστάσις от ὅμοιος «одинаковый, подобный» + στάσις «стояние; неподвижность») — саморегуляция, способность открытой системы сохранять постоянство своего внутреннего состояния посредством скоординированных реакций, направленных на поддержание динамического равновесия. Стремление системы воспроизводить себя, восстанавливать утраченное равновесие, преодолевать сопротивление внешней среды.

Гомеостаз. Википедия.

Вот только при чём здесь метафизика, я не понял. С другой стороны, вы стремления ощущаете? Желания? Вообще эмоции и ощущения? Они есть, по-вашему, или их нет? Если есть, то почему бы стремлениям не быть психическим проявлением гомеостаза? А если их нет, то как вы ощущаете мир тем, чего нет?

druggist в сообщении #1641899 писал(а):

Вы застряли на "ячейках Бенара", впрочем, я кажется, уже писал об этом.

Да, писали. Только что вас не устраивает, непонятно. Ячейки Бенара — это диссипативная структура. Субъект тоже. Почему бы мне не застрять на них, если ячейки Бенара — это пример простой физической системы, демонстрирующей принципиально сходное с субъектом поведение?

Полагаю, проблема в этом:

druggist в сообщении #1607809 писал(а):

Почему бы эволюции не остановиться на стадии червей и водорослей, условно говоря? И вот этот вопрос никакими физическими законами не регламентируется и ни из каких физических принципов не следует(разве что, из пресловутого антропного принципа)

Дело в том, что после появления первой клетки, а тем более многоклеточных, дальнейшая эволюция просто-таки абсолютна естественна, её механизмы в целом очевидны и никаких новых законов или постулатов не требуют. Вы этого не понимаете, то есть где-то что-то у вас с ног на голову перевёрнуто, из-за чего очевидные вещи вам кажутся невозможными, требующими чего-то ещё, какого-то недостающего звена.

druggist в сообщении #1641902 писал(а):

Пардон, у создателей DirectX была цель создать систему управления, а какая цель у ячеек Бенара?))

А у нас откуда цели? Если мы с ног до головы те же самые диссипативные структуры? Ячейку Бенара изолируйте от обмена веществом, и она тут же исчезнет, растворится в среде. Человека воздуха лишите, и он точно так же исчезнет, распадаясь на элементы и растворяясь в среде. И первым растворяться начнёт мозг, так как он по своим общим свойствам из всего организма к ячейкам ближе всего.

ozheredov в сообщении #1641907 писал(а):

Примерно в конце 2000-х про объяснение эмерджентных явлений в поведении мусоровозки с клешнями при помощи "самоорганизованной критичности" практически забыли, поскольку на передний план вышло новое мировоззрение - чилавек это нейросеть, засунутая в робота, только уж больно сложная.

По поводу возраста без комментариев. А что касается вашего противопоставления биологических нейронных сетей и гомеостаза, то это новое слово в науке я прокомментировал в ответе MoonWatcher выше.

[MoonWatcher]

ozheredov в сообщении #1641877 писал(а):

То-то и оно - мотивы решения понятны, это не RNG. Фишка в том, что мотивы решения, противоположного принятому, тоже были бы понятны. То есть например я выбрал быть хорошим, и Вам понятно, почему я выбрал быть хорошим - потому что быть хорошим хорошо. Но если бы я выбрал быть плохим, Вы бы мои мотивы тоже поняли - хороший это раб системы, прозомбированный родителями несчастный неудачник, а я хочу быть свободным, счастливым и богатым. Если девушка ушла, это понятно - кругом столько загорелых накачанных парней; если девушка осталась, это тоже понятно - она хочет интересного собеседника, а не мясо для [подставить_цитату_из_Cyberpunk_2077]. Кошка пошла сюда, потому что тут её погладят, но могла бы (ожидаемо!) пойти туда, потому что там ей дадут мясо. Никакие природа, воспитание, социальная среда и прочие вспышки на солнце не помогут предсказать конкретное решение из набора альтернатив, каждая из которых логична и обоснована - это и есть понимается под свободой воли, видимо.

Вот-вот, об этом я и говорю. Да, мотивы понятны - но непонятен поведенческий выбор в пользу того или иного мотива. Вплоть до того, что человек намеренно поступает вопреки своим интересам - чтобы впечатлить окружающих своей непредсказуемостью. Это тоже своего рода генератор случайных чисел - но человек над ним не властен. Он как бы вращает и останавливает рулетку - но на что она выпадет, он и сам не знает. Думаю, что все эти механизмы можно воспроизвести и в машине.

[druggist]

Dicson в сообщении #1641917 писал(а):

Дело в том, что после появления первой клетки, а тем более многоклеточных, дальнейшая эволюция просто-таки абсолютна естественна, её механизмы в целом очевидны и никаких новых законов или постулатов не требуют.

Кажется, я также приводил пример с клеточными автоматами(это не только широко известная конвеевская игра "жизнь"): при выборе определенных правил апдейта(аналог правильно выбранных фундаментальных физических констант) эволюция имеет черты усложнения - простейшие небольшие объекты, аналоги клеток, сменяются или, скорее, дополняются многоклеточными, аналогами растений, затем появляются пожирающие друг друга "монстры", аналоги хищных животных и т.д. Где здесь место каким-то "стремлениям к самосохранению"? Да, субъективно, это выглядит как стремление к самосохранению, борьба за существование и пр. Но в физике нет места субъективному, субъекту, сознанию, стремлениям и прочим идеальным сущностям.

Цитата:

Вы этого не понимаете, то есть где-то что-то у вас с ног на голову перевёрнуто, из-за чего очевидные вещи вам кажутся невозможными, требующими чего-то ещё, какого-то недостающего звена.

Что же ,вторая попытка тоже неудачна) Я бы мог привести с десяток цитат крупнейших физиков - теоретиков(включая нобелевских лауреатов), размышлявших над этим "чем-то ещё", ну да ладно...

[ozheredov]

druggist в сообщении #1641930 писал(а):

в физике нет места субъективному, субъекту, сознанию, стремлениям и прочим идеальным сущностям

Ну да. Так где же по-Вашему зарыт ключ?

[MoonWatcher]

Dicson в сообщении #1641917 писал(а):

Может, вы просто плохо о них думаете? Потому что ваша ссылка вас же опровергает. В вашей ссылке фактически утверждается, что просто статистики недостаточно, от галлюцинаций просто так не избавиться, то есть, помимо масштабирования параметров, нужны ещё и качественные изменения модели. И вот только тогда, возможно, с галлюцинациями справится получится. При этом суть аргументов, почему галлюцинаций должно стать меньше, очевидная: приближать ИИ к возможностям человека. То есть в вашей ссылке говорится то же самое, что я вам пытаюсь объяснить, и что вообще очевидно.

Вы невнимательны - по ссылке Демис Хассабис, где он выражает оптимизм в отношении преодолении галлюцинаций. Но при этом не разделяет мнение Хинтона и Суцкевера, что дорога к AGI лежит через LLM.

Dicson в сообщении #1641917 писал(а):

Вы утверждали, что «Прогнозы специалистов говорят об обратном - они обещают, что через пару лет галлюцинаций уже не будет.». Однако «пара лет» — это срок, который Хассабис из вашей ссылки отводит только на старт разработок качественно новых моделей, а что там с ними будет, ещё неизвестно: «Я всегда выступал за тестирование агентов в жестких имитационных песочницах перед тем, как выпускать их в Интернет. Есть много других предложений, но я думаю, что отрасль должна начать действительно думать о появлении таких систем. Возможно, это займет пару лет, а может и меньше. Но это системы другого класса.»

Что со всеми моделями в итоге будет, читайте ниже.

Аналогично - я ссылался не на Хассабиса, а на Альтмана. Хассабиса я привел в пример как скептика (в отличие от Яна Лекуна - умеренного) в отношении LLM, который, тем не менее, настроен оптимистично в отношении преодоления галлюцинаций.

Dicson в сообщении #1641917 писал(а):

Да, верно, в начале моего поста аргументы приведены в форме ответов на предполагаемые вопросы оппонента. В чём проблема? Вы в такой форме аргументы не воспринимаете? Ну, наверное, вы не настолько глупы. Так в чём же дело? Пока вы думаете, как выкрутиться, вот ещё в том же стиле.

Мне не надо выкручиваться - я просто не люблю, когда подменяют оппонента самим собой. И вообще не вижу смысл в этом уходе в философские споры о сущности интеллекта, самосознания и т.д. Пока философы десятки лет про это спорят, переливая из пустое в порожнее и ровным счетом ничего не давая науке, другие (например, математики) создают то, в чем уже находят проблески разума и сознания - хотя совсем на это не рассчитывали.

Dicson в сообщении #1641917 писал(а):

Если задать один и тот же вопрос чат-боту и специалисту, то в идеале ответы будут похожи, потому что они оба исходят из того, что в этой области знания на данный момент известно. Только чат-бот ответит и отключится, а человека и вопрос, и ответ обучат, так как наш мозг постоянно обучается. И может быть, что эти изменения, вкупе с другими, приведут человека к новой идее — и в конечном итоге к новому тексту для ИИ. Иными словами, ИИ вторичен и ведом.

Вы говорите не о человеке, а о человеке очень умном и креативном - это большая редкость. Даже то, что я за всю свою жизнь не видел, чтобы кто-нибудь кого-то хоть в чем-то переубедил, уже говорит о том, как плохо человек учится, как он уперт в своих реальных или мнимых познаниях. Тогда как лишенный этой чисто эмоциональной упертости ИИ безусловно способен к извлечение новых знаний - например, в ходе общения с человеком. Например, вы даете ИИ прочитать учебник языка каких-нибудь папуасов - и он начинает шустро переводит с него и на него. Это уже реальность. Не вижу проблем с реализацией обучения ИИ на базе регулярного прочтения новостей, научных публикаций и т.д.

Dicson в сообщении #1641917 писал(а):

Если же сделать ИИ тоже постоянно обучающимся, то у нас правильность знаний контролирует сама жизнь — мы, как говорится, на собственной шкуре знаем цену ошибок. А у ИИ что правильность знаний контролирует? Как вы считаете? Видимо, вы ответите, что опыт? Ощущений-то у ИИ нет, самосохранение ему неведомо. Однако никакой опыт не гарантирует адекватность при дальнейшем обучении, потому что из каждого сколь угодно обученного состояния есть множество неадекватных путей. Поэтому контролируем правильность знаний ИИ всегда мы, а мы выше головы не прыгнем, и что-то непонятное развивать не сможем.

Ну так и ИИ будет знать цену своим ошибкам, когда вы ему скажете, что после лечения по его диагнозу больной умер, после сделанной им консолидации финансовой отчетности компания была оштрафована за нарушение стандартов отчетности и т.д. Видели кнопку дизлайка под ответами чат-бота? Это же не просто так. Я уже не говорю про гораздо более глубокий уровень оценки правильности своих знаний - например, сочетание языковых моделей с символьной логикой. С помощью этой комбинации ИИ недавно вышел на уровень золотого медалиста международной олимпиады по математике (в части геометрии). В будущем ИИ-агенты возможно будут жить в виртуальной реальности и оценивать друг друга по критериям качества, принятым в нашей реальности. Ну или хотя бы получать оценки от человека. Если 12 лет назад это работало в обучении с подкреплением на распознавании котиков, то в будущем будет работать в обучении с подкреплением на более интеллектуальных задачах. Какие-то из них действительно трудно формализовать на предмет правильности и неправильности - философия, социальные науки. Но там и у людей всё довольно плачевно...

Dicson в сообщении #1641917 писал(а):

В итоге всегда будет то, что я вам сразу и написал: «сложность поведения ИИ может только бесконечно приближаться к сложности поведения человека.». И почему так, написал: «ИИ существует "внутри" опыта людей, так как создаёт и обучает его человек. В то же время сам ИИ развиваться не сможет, так как он не диссипативная структура. ИИ среда только разрушает, диссипативные структуры среда создаёт, поэтому эволюционировать и самосохраняться умеют только они.».

В этом экзистенциальная проблема бытия ИИ.

Это абстрактная и очень сильно оторванная от реальности философия. Вы с таким пиететом говорите о человеке, словно это сплошь Ньютоны и Эйнштейны. Тогда как абсолютное большинство людей очень посредственны и только повторяют то, что где-то услышали и прочитали. Хуже того - они повторяют чужие глупости. Поэтому на публичном состязании умного с дураком, где победителя определяет публика, дурак всегда победит умного. Мой любимый пример - Жириновский. Он был популярен не потому, что харизматичный и умный, а потому что клоун и дурак. Когда умный человек говорит умные вещи, причем ровным и спокойным голосом - публика зевает. Но когда он истерично орет глупости, как Гитлер, Муссолини или Владимир Вольфович - публика в восторге. Какой тут нахрен опыт людей? Но даже по сравнению с великими умами ИИ имеет шансы на успех - как я уже не раз говорил, в обоих случаях происходит одно и то же: извлечение закономерностей из текстовой информации. Просто оно происходит по-разному, вот и вся разница. Да - это разница огромная, но совсем не очевидно, что механизмы извлечения закономерностей ИИ заведомо ущербны по сравнению с этими механизмами у человека. На стороне языковых моделей - объем, на стороне человека - глубина (но глубина его личного опыта и понимания относительно небольшого объема литературы). Это как спор о том кто сильнее: один взвод морпехов США - или парочка римских легионов. Не говоря уже о мультимодальности, которая отчасти охватывает и чисто человеческое понимание смыслов.

Dicson в сообщении #1641917 писал(а):

Вы написали, что «ИИ будет работать 24/7 без всякой мотивации». Я с этим и не спорю. Но при этом вы утверждали, что «У человека на работе, если он не военный/полицейский/пожарный и т.д., нет никакого стремления к самосохранению - у него, в массе, есть стремление поменьше работать и побольше получать.». Я вам объяснил, что стремление к самосохранению есть у всех. Вот, собственно, и всё по этому поводу.

Но к работе это не имеет никакого отношения. В большинстве случаев человек там просто делает то, что ему поручают - вовсе не пытаясь расти, развиваться и т.д. Вы ищите проблему там, где её нет - проблема не в мотивации ИИ, а в его интеллекте. Пока он туповат, перед ним поставят задачу, например, написать претензию по качеству полученного заводом сырья. Станет умнее - ему поручат добиться компенсации - и он САМ затеет переписку с поставщиком, подаст аппеляцию в арбитраж и т.д. Потому что всё это - опыт, на котором можно обучить.

Dicson в сообщении #1641917 писал(а):

Я вас спрашивал про уборку квартиры. Ваш ответ, как я понимаю, состоит в том, что ИИ даже и близко к этому не приблизился. Верно? Потому что именно это следует из того, что вы написали. Или пришлите ссылки хоть на что-то работающее, хоть как-то близкое к поведению такой сложности.

Наоборот - я говорил, что с появлением мультимодальных систем это становится реальным. Ссылку пришлю, но то что вы у меня просите, само по себе довольно показательно - как я и говорил, вы застряли где-то в 2000х.

Dicson в сообщении #1641917 писал(а):

Принципиально это тот же чат-бот. Та же хорошая штука, но из-за галлюцинаций, что с ней делать, непонятно. Но у нас тема не о достижениях ИИ, а о том, сможет ли ИИ стать СИИ. Не опровергают ли какие-то нынешние достижения ИИ мою точку зрения, что СИИ невозможен? Нет, Gemini и GPT-4o от СИИ далеки и ничего из мною сказанного не опровергают.

В чем они должны вас опровергать - в невозможности СИИ? Но это как невозможность внеземной разумной жизни - можно заявлять что угодно, но печальная истина состоит в том, что мы с вами не имеем об этом ни малейшего представления. Так и с ИИ - ноль. Мы с вами как австралопитеки, спорящие о невозможности атомной энергетики... Спорить уместно разве что про языковые модели, но в случае с Gemini и GPT-4o они уже мультимодальные. Далеки ли они от СИИ? Да, безусловно. Но их предшественники год-два назад были намного дальше. Это не доказывает неизбежность СИИ - но явно подрывает веру в ваше заявление о невозможности СИИ в принципе.

Dicson в сообщении #1641917 писал(а):

Что существует с 2020-х? Вы написали, что «Мировой видео-архив, виртуальная реальность - это вполне реальный базис для обучения мультимодальных систем любой физической работе.». Я вам ответил: «Чтобы это всё стало обучающими примерами, нужна соответствующая система. Примеров самих по себе недостаточно.».

И сейчас вы продолжаете настаивать, что такие системы уже существуют? Тогда приведите пример уже существующей системы, которую достаточно только обучить, и она будет делать любую физическую работу. Со ссылками, естественно. Иначе вы опять к потенциально потенциальным потенциям и верованиям обратитесь, а это уже тяжело читать.

Закончу отвечать - поищу и выложу ранние прототипы (вроде домашней заготовки упомянутых мною студентов). Меня просто удивляет как вы можете спорить об этом, не зная того, что происходит здесь и сейчас. Об обучении ИИ на видеоархивах уже много раз говорили и писали, и насколько я понимаю, все эти потрясающие достижения мультимодальных систем, генерации видео и т.д. - как раз результат такого обучения. Или вы и про Sora не слышали?

Dicson в сообщении #1641917 писал(а):

Внутренние переживания — это не контекст фактов? Вы их чувствуете, они влияют на ваше поведение. Самый что ни на есть контекст, самых что ни на есть фактов. Именно посредством внутренних переживаний, из всего спектра которых вы можете обозначить словами только их ничтожную часть, мы отделяем верное от неверного, реальность от фантазий. А вот ИИ этот контекст фактов недоступен, что из-за этого происходит — см. начало поста.

Нет, внутреннее переживание - это внутреннее переживание. Нечто, что лежит за пределами современной науки. Ну не придумала наука способов объективного описания субъективного опыта. Тогда как контекст можно реализовать объективно - что постепенно и происходит на уровне ИИ. Вы можете часами беседовать с ним про любовь, и от человека его отличит только слишком большой ум и эрудиция. А так да - чёткий пацанчик вам авторитетно заявит, что любовь - это ништяк, в натуре! Очень, очень содержательные внутренние переживания, куда до них ИИ...

Dicson в сообщении #1641917 писал(а):

Вы прочитали вот это: «Суть перехода: увеличение интенсивности обмена со средой и рост количества флуктуаций (количественные изменения) в какой-то момент приводит к скачкообразному перестроению системы на новый уровень сложности (появление нового качества).»?

И где это, по-вашему, может быть в ИИ? Куда вы это в ИНС приткнёте? Увеличение интенсивности обмена со средой, флуктуации - где это вообще в ИНС? Скачкообразное перестроение всей структуры сети, как вы себе представляете? Взяла и перестроилась. Как организм в ходе эволюции перестраивается? Его никто не перестраивает, программы перестроения заранее нигде нет. В общем, нет, в ИИ переходов в новое качество быть не может. И явление это не биологическое, а физическое.

Ну например, обмен со средой реализуется через поглощение порождаемой природой информации - от текстов в Интернете до описания всего, что происходит в природе: сердечный ритм лягушек, пульсация пульсаров, сон Васи Пупкина и гуголплекс других занимательных событий в наблюдаемой Вселенной. А перестроение всей структуры я представляю как переписывание кода основной модели ИИ-агентом, который, поглощая новую информация соответствующей тематики, вносит в этот код исправления. Или вносит случайные поправки, оценивая последующий результат. Впрочем, я вам об этом уже говорил.

Dicson в сообщении #1641917 писал(а):

Пусть вначале вырастет. Если туземцу смартфон дать, он в нём только досочку со стёклышком разглядит. А мы-то знаем, что главное внутри. Так же и в мозге — помимо количества, важно качество. Экстрасинаптическая передача и совсем не дискретность синаптической, рост и отмирание связей, неравновесность, хаос и самоорганизация, генетическая программа. Все это тоже отличает мозг от ИИ.

Он уже растет, здесь и сейчас. Пока вы философствуете о невозможности СИИ, IT-компании скупают миллионы графических ускорителей и строят все более крупные дата-центры, для каждого из которых потребуется отдельная АЭС.

Dicson в сообщении #1641917 писал(а):

Галиматья это называется. Слышал звон, не знаю где он.

Куда мне - даром что про эту эмерджентность так много говорят разработчики ИИ, комментируя переход от ранних языковых моделей к нынешним...

Dicson в сообщении #1641917 писал(а):

Чем конкретно ваше «вдохновлён какими-то элементами устройства человеческого мозга» отличается от моего «упрощенное подобие человеческого разума»?

Чтобы вам легче думалось, цитата из Википедии: «Нейро́нная сеть[1] (также иску́сственная нейро́нная сеть, ИНС, или просто нейросе́ть) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы.».

Тем, что эти вдохновленные биологией модели остались на уровне биологических знаний полувековой давности - о чем не раз сокрушались нейрофизиологи (тот же Анохин). Вы может не поверите, но мозг бесконечно сложнее абстрактного математического представления отдельно взятого нейрона. Поэтому меня всегда умилял биолог Савельев, отчитывающий разработчиков ИИ за невежество - дескать, ни хрена они в мозге не понимают, он совсем не такой примитивный... И вы, и Савельев не понимаете, что разработчики вовсе не пытаются воспроизвести мозг человека - его даже нейрофизиологи не понимают.

Dicson в сообщении #1641917 писал(а):

Вы предлагали вариант того, как может происходить перестройка системы в новое качество. По-вашему, агенты будут вносить случайные изменения в ИИ и затем сравнивать с результатом. Чтобы сравнить, надо заранее знать, какой результат нужен. Иначе сравнение не имеет смысла. То есть вы написали чушь. О чём я вам и сообщил.

Во-первых, не надо подменять свои собственные понятия - вы писали "То есть эти «агенты» будут заранее знать, как правильно должна функционировать система". Как функционировать и результат - это совсем-совсем разные вещи. Во-вторых, и нужный результат знать необязательно - достаточно оценки своего результата человеком. Это и есть обучение: "Так?" - "Нет", "Так?" - "Нет", "Так?" - "Да!"

Dicson в сообщении #1641917 писал(а):

Диссипативные структуры здесь при том, что только у таких физических систем есть возможность без какого-либо предварительного плана скачком перестраиваться в более сложное, но адекватное среде состояние. То есть совершать тот самый качественный переход. Откройте Википедию, прочитайте, что это такое.

Википедия описывает это понятие - как это соотносится с мнимой невозможностью реализовать такие структуры в ИИ? И почему эти скачки должны происходить непременно в рамках одной и той же модели - чем плоха разработка людьми все более умных моделей - пока наконец эту работу не возьмут на себя агенты, которые будут совершенствовать старые модели вместо человека?

Dicson в сообщении #1641917 писал(а):

У вас есть стремления, вы их ощущаете? Вы чего-то хотите, чего-то ждёте, на что-то рассчитываете? Так вот единственным известным нам явлением, которое можно отнести к стремлениям, является гомеостаз. Организм — это диссипативная структура. То есть весь организм как одно целое поддерживает гомеостаз, простой пример такой системы ячейки Бенара. Нейронная сеть мозга всего лишь проецирует динамику гомеостаза в перемещения в среде и конкретные цели этих перемещений. Ну а вы на уровне мозга ощущаете гомеостаз в том числе как свои стремления. Всё просто.

Ну ощутил - дальше что? Какое отношение это имеет к тому, что и живой водитель, и искусственный автопилот выполняет одну и ту же работу?

Dicson в сообщении #1641917 писал(а):

Какие открытия сделал ИИ?

Например, почитайте про FunSearch и AlphaFold 3.

[druggist]

ozheredov в сообщении #1641932 писал(а):

Ну да. Так где же по-Вашему зарыт ключ?

Спросите лучше у Dicson, для него это, как он сам утверждает, естественно и очевидно)

[MoonWatcher]

Dicson в сообщении #1641917 писал(а):

Тексты Ньютону были нужны, конечно. Но только для того, чтобы на уже открытое другими время не терять. А новая идея — это всегда обобщение не только старых текстов, а всего воспринимаемого в целом. Иначе наши знания никакой связи с реальностью бы не имели. Любые наши тексты — это производная от реального мира в преломлении опыта.

Чего - всего? Падения яблока на голову? Я примерно понимаю о чем вы - потому и говорите так расплывчато, что наука не знает как приходят озарения и т.д. Но в случае Ньютона их бы не было без текстов. А вот уронить яблоко на глазах у ИИ вполне реально - см. выше про гипотетическую модель, которая собирает и анализирует любую информацию в наблюдаемой Вселенной.

Dicson в сообщении #1641917 писал(а):

Всё-таки прочитайте вначале, что я написал про свободу воли, а потом уже опровергайте. Про случайность у меня тоже написано.

Вы написали, что "у ИИ её нет и не может быть, хотя бы потому, что в ИИ нет ничего принципиально непонятного — он программа". Получается, что вы называете свободой воли непонятность - и в принципе я с этим согласен. Но при этом вы не понимаете, что понятная программа тоже может принимать непонятные решения. За это ИИ часто критикуют - нельзя понять почему ИИ поставил больному такой-то диагноз, отказал в выдаче кредита такому-то заемщику и т.д. В этом отношении ИИ напоминает человеческую интуицию.

Dicson в сообщении #1641917 писал(а):

В ваших ссылках ничего о сознании не нашёл. Процитируйте. Может, я пропустил.

Буквально сознание там наверное не упоминается - это слишком философский вопрос, с кучей разных течений, направлений и школ. Подозреваю что то, что упоминается в этих работах, в представлении некоторых из этих течений, направлений и школ к сознанию относится. Впрочем, я не настаиваю - не хотел бы еще больше увязнуть в этих философских дебрях.

Dicson в сообщении #1641917 писал(а):

Потому что ИИ по физическим свойствам практически полностью противоположен ЕИ. Поэтому если сознание есть у нас, то его не может быть у ИИ и наоборот. Ну и целая куча более конкретных аргументов есть на этот счёт. Просто вы их сейчас всё равно не поймёте, не за чем стараться.

Ну, если вы разобрались с тем, что такое сознание - могу за вас только порадоваться.

Dicson в сообщении #1641917 писал(а):

Странно. По-вашему, ИИ — это прям золотое дно. Вас послушать, ИИ чуть ли не на днях уже всё сможет. Чего бы не вложиться.

Слушают не меня, а ту половину ученых. И поэтому вкладывают в ИИ сотни миллиардов долларов.

-- 10.06.2024, 01:03 --

Dicson в сообщении #1641917 писал(а):

Я вас спрашивал про уборку квартиры. Ваш ответ, как я понимаю, состоит в том, что ИИ даже и близко к этому не приблизился. Верно? Потому что именно это следует из того, что вы написали. Или пришлите ссылки хоть на что-то работающее, хоть как-то близкое к поведению такой сложности.

Вот студенческая разработка, о которой я говорил. В том видео автономные операции - пока довольно простые. Что касается моторики, то вот демонстрация более сложных операций под управлением человека. Причем самостоятельному выполнению простых операций робот научился после того, как десятки раз проделал эти операции под управлением человека. А вот результат интеграции робота компании Figure и чат-бота OpenAI.

Но это просто примеры - куда важнее то, что ИИ научился описывать и предсказывать окружающий его трехмерный мир - это явная предпосылка для революции в робототехнике.

[ozheredov]

MoonWatcher в сообщении #1641937 писал(а):

Слушают не меня, а ту половину ученых.

Бизнесмены и политики никогда не слушали учёных. Ни - ког - да. На это у них имеются свои соображения, которые можно было бы обсудить в отдельно созданной теме, а то здесь будет оффтоп.

Так что скорее всего причина поменялась местами со следствием - в ИИ (до которого, вопреки всем восторгам и придыханиям учёных, мочёных и фантастов, до определенного момента инвесторам вообще никакого дела не было) вдруг стали вкладывать

MoonWatcher в сообщении #1641937 писал(а):

сотни миллиардов долларов

А учёные очень хорошо чуят носом финансовые потоки, и дальше пошло-поехало. Ситуация аналогична тому, как развивалась индустрия смартфонов: были отдельно телефоны, персоналки, КПК, и никому в голову не приходило начать их женить. Пока не появилась идея тотальной слежки 24/7 и не стало понятно, что идеальный "жучок" для такой слежки - это подключенный к Инету КПК, засунутый в телефон. Только вот идея, лежащая в основе бума инвестиций в ИИ, боюсь, гораздо более радикальна.

[Cuprum2020]

ozheredov в сообщении #1642016 писал(а):

Только вот идея, лежащая в основе бума инвестиций в ИИ, боюсь, гораздо более радикальна

Не томите! Поделитесь с нами этой идеей

[ozheredov]

Cuprum2020 в сообщении #1642029 писал(а):

Поделитесь с нами этой идеей

Откроете тему - поделюсь, тут будет оффтоп. Можете так и назвать - "Тема про то, как ozheredov раскрыл заговор рептилоидов у себя под кроватью".

[MoonWatcher]

ozheredov в сообщении #1642016 писал(а):

Бизнесмены и политики никогда не слушали учёных. Ни - ког - да.

Если не идиоты - слушают. В противном случае не было бы ни индустриальной революции, ни ракет, ни атомной энергетики, ни компьютеров с Интернетом.

ozheredov в сообщении #1642016 писал(а):

А учёные очень хорошо чуят носом финансовые потоки, и дальше пошло-поехало. Ситуация аналогична тому, как развивалась индустрия смартфонов: были отдельно телефоны, персоналки, КПК, и никому в голову не приходило начать их женить. Пока не появилась идея тотальной слежки 24/7 и не стало понятно, что идеальный "жучок" для такой слежки - это подключенный к Инету КПК, засунутый в телефон. Только вот идея, лежащая в основе бума инвестиций в ИИ, боюсь, гораздо более радикальна.

Нет никакой тотальной слежки - есть тотальный сбор данных в маркетинговых целях. И то не везде - в этом суть недавнего конфликта Apple с Meta (Facebook). А так конечно - ИИ станет отличным инструментом для тотальной слежки, в чем лично я не вижу ничего плохого. Как ни банально звучит, плохими бывают не технологии, а их применение.

[Ende]

Выделена тема «Сбор данных о пользователях»

[Dicson]

druggist в сообщении #1641930 писал(а):

Кажется, я также приводил пример с клеточными автоматами(это не только широко известная конвеевская игра "жизнь"): при выборе определенных правил апдейта(аналог правильно выбранных фундаментальных физических констант) эволюция имеет черты усложнения - простейшие небольшие объекты, аналоги клеток, сменяются или, скорее, дополняются многоклеточными, аналогами растений, затем появляются пожирающие друг друга "монстры", аналоги хищных животных и т.д. Где здесь место каким-то "стремлениям к самосохранению"? Да, субъективно, это выглядит как стремление к самосохранению, борьба за существование и пр.

Всё верно, приводили. Только я вам ответил. Вы не поняли ответа?

В клеточном автомате "стремлениям к самосохранению" места нет. Потому что и гомеостаза нет. Клеточный автомат — это не реальный мир, а алгоритм, то есть упрощение того явления, которое алгоритм описывает. Карта — это не территория, любое описание — это упрощение. Поэтому если вы исходите из того, что «правила апдейта» клеточного автомата — это аналог фундаментальных физических констант, то это будут упрощённые константы, по отношению к таковым в реальном мире. Никакое реальное явление вы из них не соберёте, если только такое же упрощённое, виртуальное, если хотите, игрушечное. Но упрощённый гомеостаз — это не гомеостаз. Точно так же, как, например, виртуальное тяготение — это не тяготение.

Более того. Под «фундаментальными физическими константами», как я понимаю, вы подразумеваете фундаментальные основы нашего мира, из которых проистекают все наблюдаемые явления, включая эволюцию. Их аналог вы видите в правилах апдейта клеточного автомата, который, таким образом, моделирует реальный мир. Однако фундаментальные основы реального мира известны быть не могут, так как они равносильны теории всего, а такая теория не имеет смысла. Поэтому ваша модель мира в автомате не просто упрощение, которое, как кажется, может приближаться к реальному миру сколь угодно близко (когда виртуальная реальность на экране компьютера, превращаясь из карты в территорию, будет постепенно выползать из экрана), а упрощение качественное, так как реальная реальность в принципе не может быть полностью сведена к каким-либо законам.

Например, программа не переварит пищу. Почему? Потому что программа пищеварения — это алгоритм, описание пищеварения, веществ и химических реакций. А любое описание — это упрощение. Как следствие, и «переварит» программа только упрощённую пищу, то есть не реальную. Но нереально переваренной нереальной пищей реальный человек сыт не будет. А виртуальный будет, но он упрощение реального, причём см. выше — качественное.

И наконец. Если, по-вашему, всё может быть сведено к каким-то законам, то, что же, по-вашему, любая наша мысль была задана ещё в момент Большого взрыва? Не чушь ли это само по себе? Вы вроде следите за дискуссией, вы про свободу воли в этом недавнем посте прочитали? И всё равно пишете про какие-то автоматы.

druggist в сообщении #1641930 писал(а):

Но в физике нет места субъективному, субъекту, сознанию, стремлениям и прочим идеальным сущностям.

Чем физике идеальные сущности не угодили? Они же есть, почему бы их не изучать физике? Или их нет? Тогда, действительно, на нет и суда нет. Поясните свою точку зрения, пожалуйста. Почему, по-вашему, в физике нет места субъективному?

druggist в сообщении #1641930 писал(а):

Что же ,вторая попытка тоже неудачна) Я бы мог привести с десяток цитат крупнейших физиков - теоретиков(включая нобелевских лауреатов), размышлявших над этим "чем-то ещё", ну да ладно...

Почему же «ладно»? Очень интересно. Приведите эти цитаты. Может быть, вы их просто не так поняли?

MoonWatcher в сообщении #1641934 писал(а):

Вы невнимательны - по ссылке Демис Хассабис, где он выражает оптимизм в отношении преодолении галлюцинаций. Но при этом не разделяет мнение Хинтона и Суцкевера, что дорога к AGI лежит через LLM.

Всё-таки вера в LLM в среде специалистов не железобетонная? Ну, хоть об этом договорились. Но цитату, из которой следует, что Хинтон и Суцкевер уверены в достаточности LLM, вы всё же хотелось бы увидеть. Слишком уж часто вы желаемое за действительное выдаёте.

MoonWatcher в сообщении #1641934 писал(а):

Не вижу проблем с реализацией обучения ИИ на базе регулярного прочтения новостей, научных публикаций и т.д.

И я не вижу. Вот только, как ИИ будет оценивать правильность своего обучения? У нас если неправильно научился, то холодно, голодно и падаешь. Неприятно, больно, обидно и можно умереть. Волей-неволей к окружающему повнимательнее приглядишься, чтобы своё поведение адекватно ему скорректировать. А у обучающегося ИИ как эта корректировка будет происходить? Вот вы пишете: «В будущем ИИ-агенты возможно будут жить в виртуальной реальности и оценивать друг друга по критериям качества, принятым в нашей реальности.» Но виртуальная реальность — это упрощение реальной реальности, и критерии тоже упрощение. Упрощение на упрощении очень быстро превратится в полностью неадекватное поведение ваших ИИ-агентов, по отношению к реальности реальной.

MoonWatcher в сообщении #1641934 писал(а):

Ну так и ИИ будет знать цену своим ошибкам, когда вы ему скажете, что после лечения по его диагнозу больной умер, после сделанной им консолидации финансовой отчетности компания была оштрафована за нарушение стандартов отчетности и т.д. ... Ну или хотя бы получать оценки от человека.

Вот это другое дело. Но если оценивать будет человек, то и сложность человека ИИ не превзойдёт. О чём и речь в этой теме.

MoonWatcher в сообщении #1641934 писал(а):

Но даже по сравнению с великими умами ИИ имеет шансы на успех - как я уже не раз говорил, в обоих случаях происходит одно и то же: извлечение закономерностей из текстовой информации.

Если бы мы только лишь «извлекали закономерности из текстовой информации», то откуда бы тогда взяться самим текстам?

Убийственный аргумент против текстов как наше всё, верно?

MoonWatcher в сообщении #1641934 писал(а):

Но к работе это не имеет никакого отношения. В большинстве случаев человек там просто делает то, что ему поручают - вовсе не пытаясь расти, развиваться и т.д. Вы ищите проблему там, где её нет - проблема не в мотивации ИИ, а в его интеллекте. Пока он туповат, перед ним поставят задачу, например, написать претензию по качеству полученного заводом сырья. Станет умнее - ему поручат добиться компенсации - и он САМ затеет переписку с поставщиком, подаст аппеляцию в арбитраж и т.д. Потому что всё это - опыт, на котором можно обучить.

Ещё раз вам говорю. В довесок к этим разумным утверждениям вы написали, что не у всех людей есть стремление к самосохранению. Я вам объяснил, что у всех. С автоматизацией производства никто не спорил.

MoonWatcher в сообщении #1641934 писал(а):

Закончу отвечать - поищу и выложу ранние прототипы (вроде домашней заготовки упомянутых мною студентов). Меня просто удивляет как вы можете спорить об этом, не зная того, что происходит здесь и сейчас. Об обучении ИИ на видеоархивах уже много раз говорили и писали, и насколько я понимаю, все эти потрясающие достижения мультимодальных систем, генерации видео и т.д. - как раз результат такого обучения. Или вы и про Sora не слышали?

Вы написали, что «Мировой видео-архив, виртуальная реальность - это вполне реальный базис для обучения мультимодальных систем любой физической работе.». Я вам ответил: «Чтобы это всё стало обучающими примерами, нужна соответствующая система. Примеров самих по себе недостаточно.». И далее попросил привести пример уже существующей системы, которую достаточно только обучить, и она будет делать любую физическую работу.

Примеров нет. Вы выдаёте желаемое за действительное.

MoonWatcher в сообщении #1641934 писал(а):

Нет, внутреннее переживание - это внутреннее переживание. Нечто, что лежит за пределами современной науки. Ну не придумала наука способов объективного описания субъективного опыта. Тогда как контекст можно реализовать объективно - что постепенно и происходит на уровне ИИ.

Если «контекст можно реализовать объективно», то наука, получается, уже «придумала способ объективного описания субъективного опыта», так как в ИИ всё можно описать. Он сам описание, алгоритм. Инструкция, что делать с сигналами на входе, как конкретно их преобразовать в сигналы на выходе. Но вы утверждаете, что наука не придумала. Остановитесь на чём-нибудь одном.

MoonWatcher в сообщении #1641934 писал(а):

Ну например, обмен со средой реализуется через поглощение порождаемой природой информации - от текстов в Интернете до описания всего, что происходит в природе: сердечный ритм лягушек, пульсация пульсаров, сон Васи Пупкина и гуголплекс других занимательных событий в наблюдаемой Вселенной.

Обмена самого по себе недостаточно. Обмен должен быть настолько интенсивный, чтобы система потеряла стабильность, так как переход происходит через этап хаоса. То есть такой, чтобы система, в которой реализован ИИ (компьютер или какая-то аппаратная реализация), полностью разрушилась. Однако если вы расплавите компьютер, то вы его просто уничтожите, и ничего больше. Иное равносильно повторению биологических систем во всей их сложности, а это, в свою очередь, равносильно возможности управлять морфогенезом и выращивать любые организмы с любыми интеллектами и вообще свойствами. Но этим путём не идут, потому что биология непонятна, как следствие, морфогенез управлению поддаётся слабо.

Но вас же интересует, можно ли всё это выразить программно? Посмотрим.

В реальности, чтобы могла произойти эволюция, должна быть неравновесная среда, в которой будут возникать флуктуации. Кипящая вода, например, или среда реакций Белоусова — Жаботинского. Если обмен со средой веществом/энергией достаточно интенсивный, количество флуктуаций будет расти, они начнут активно конкурировать за направление своего развития. В результате какие-то направления движения элементов системы будут взаимно подавляться, какие-то, наоборот, взаимно усиливаться. Тем самым сами собой будут выделяться глобальные направления движения элементов, отобранные в объёме сразу всей системы. И в какой-то момент этого процесса произойдёт переход через точку бифуркации — в поведении всех элементов системы скачком возникает согласованность, наблюдаемая на масштабе всей системы. То есть произойдёт переход от хаоса к порядку. Далее организованное состояние системы будет поддерживаться само собой, так как возникающие в системе флуктуации будут подавляться согласованным движением множества элементов — это гомеостаз.

Физический смысл такого перестроения в том, что упорядоченное состояние системы позволяет ей обмениваться со средой веществом более интенсивно — скопом в одном направлении можно двигаться быстрее, чем хаотично и разнонаправленно. Если интенсивность обмена веществом со средой будет продолжать расти, то под влиянием растущих флуктуаций старый порядок разрушится, и вместо него возникнет новый, более сложный. В ячейках Бенара одномоментно перестраивается сразу вся система. С организмом всё гораздо сложнее, перестроения происходят иначе, но в целом принцип тот же.

Таким образом, организм — это та же ячейка Бенара, только очень-очень сложная, состоящие из множества взаимодействующих веществ и структур в разной степени неравновесности. К примеру, для нестабильной неравновесной среды нужен «сосуд»: у ячеек Бенара — это сосуд с водой, у клетки должна быть мембрана, у многоклеточного организма кожный покров. Простой прообраз мембран клеток — липосомы. Липосомы могут сами собой проходить циклы роста и деления и срастаться после повреждений. Для появления липосом нужен насыщенный раствор солей жирных кислот, в котором они будут возникать сами собой — самоорганизовываться. То есть тоже нужна определённого рода неравновесная среда, долго сами по себе они существовать не могут, липосомы не камень. В итоге весь организм — это та же упорядоченная неравновесная среда, стабилизируемая интенсивным обменом со средой, как и ячейки Бенара.

Флуктуации, которые приводят систему к переходу, в целом отражают особенности среды и системы, в которой они происходят. Поэтому эволюционные перестроения ячеек Бенара или организмов в ходе эволюции не случайны, то есть эволюция не является перебором всех возможных вариантов. Потому что, см. выше, — перестроения происходят только так, чтобы мог происходить интенсивный обмен со средой, то есть, как бы система не менялась, какие бы новые эволюционные образования у неё не появлялись, она будет оставаться способной к гомеостазу, к жизни. В результате отбор в ходе эволюции происходит только между так или иначе «работоспособными» системами. Аналогично мышление, которое тоже на всех уровнях связано с флуктуациями и переходами через точку бифуркации, тоже не является перебором всех возможных вариантов поведения — мозг сам собой мыслит «в направлении гомеостаза» и сам себя в этом направлении стабилизирует, мы чувствуем, где хорошо, где плохо.

Однако из всех этих свойств следует, что если вы опишете ИНС в виде некой среды, в которой будут происходить флуктуации, ведущие к перестроению ИНС, то лучше бы вы этого не делали. См. начало поста, любое описание — это упрощение. Поэтому, упростив флуктуации, вы упростите связь системы со средой. Как следствие, если вы выпустите такую систему в реальную среду, её эволюция (или обучение) быстро станет среде неадекватной. А если ваша система будет существовать в виртуальной среде, то какой толк? Адекватности у системы от этого не прибавится. Поэтому такое существование будет вещью в себе. Как клеточный автомат — что-то похожее на реальный мир есть, но не более.

В итоге, что бы вы ни делали, у вас есть только два варианта. Или вы создаёте какой-либо алгоритм — но тогда он всегда будет много проще вас. Потому что он не сможет самостоятельно развиваться: без вас он не сможет быть адекватен среде и среда его разрушит. А вы не сможете формировать поведение, которое сложнее вашего. Второй вариант — это создание биологических систем, управление морфогенезом и так далее, но, во-первых, итог будет таким же, во-вторых, это другая тема.

MoonWatcher в сообщении #1641934 писал(а):

А перестроение всей структуры я представляю как переписывание кода основной модели ИИ-агентом, который, поглощая новую информация соответствующей тематики, вносит в этот код исправления. Или вносит случайные поправки, оценивая последующий результат. Впрочем, я вам об этом уже говорил.

MoonWatcher в сообщении #1641934 писал(а):

Во-вторых, и нужный результат знать необязательно - достаточно оценки своего результата человеком. Это и есть обучение: "Так?" - "Нет", "Так?" - "Нет", "Так?" - "Да!"

Чтобы оценить последующий результат, нужно знать, какой результат правильный. А если вам известен правильный результат эволюции, то зачем вам нужна эволюция? Сразу создайте нужную вам систему и всё. Если же вы имеете в виду, что эволюция у вас будет идти как случайный перебор, то вы устанете ждать нужного варианта. И при этом в любом случае система не выйдет за рамки того, что мы можем оценить. То есть СИИ так не создать. Впрочем, его никак не создать.

MoonWatcher в сообщении #1641937 писал(а):

Получается, что вы называете свободой воли непонятность - и в принципе я с этим согласен.

Нет, вы не понял, что написано про свободу воли. Свобода воли не может иметь никакого выражения в языке. ИИ же — это инструкция, язык. Всё непонятное в нём практического характера — сложно на бумажке расписать все происходящие в нём вычисления.

MoonWatcher в сообщении #1641937 писал(а):

Ну, если вы разобрались с тем, что такое сознание - могу за вас только порадоваться.

Я напишу об этом на форуме подробнее, если получится.

MoonWatcher в сообщении #1641934 писал(а):

Например, почитайте про FunSearch
и AlphaFold 3
.

Почитал. Открытий, сделанных именно ИИ, не заметил. Цитирую вашу ссылку: «Решения, созданные FunSearch, концептуально гораздо богаче, чем просто наборы чисел. Когда я изучаю их, я что-то узнаю» — сказал Джордан Элленберг, привлечённый профессор математики. «Что меня волнует больше всего, так это новые способы взаимодействия человека и машины», — добавил он, «Я не смотрю на это как на замену людям-математикам, это мультипликатор их силы».

С AlphaFold то же самое.

MoonWatcher в сообщении #1641934 писал(а):

Он уже растет, здесь и сейчас. Пока вы философствуете о невозможности СИИ, IT-компании скупают миллионы графических ускорителей и строят все более крупные дата-центры, для каждого из которых потребуется отдельная АЭС.

В этой мы теме приводим аргументы, а не силой веры меряемся. Идея, что если сейчас паровоз до 100 км/ч разогнали, то и до какой угодно скорости разгоним, не соответствует реальности, так как мир нелинеен. И одно из следствий нелинейности мира состоит в том, что мнения и надежды других людей, не подкреплённые аргументами, — в этой теме не аргумент.

MoonWatcher в сообщении #1641937 писал(а):

Вот
студенческая разработка, о которой я говорил. В том видео автономные операции - пока довольно простые. Что касается моторики, то вот
демонстрация более сложных операций под управлением человека. Причем самостоятельному выполнению простых операций робот научился после того, как десятки раз проделал эти операции под управлением человека. А вот
результат интеграции робота компании Figure и чат-бота OpenAI.

Но это просто примеры - куда важнее то, что ИИ научился описывать и предсказывать окружающий его трехмерный мир - это явная предпосылка для революции в робототехнике.

Ваши постановочные видео с минимумом возможностей (у Darpa роботы ловчее прыгали) — это даже для уборки квартиры около нуля. Тонкой моторики как таковой там не видно (всё это действительно было и 20 лет назад). Сравните с собственной ловкостью и представьте хотя бы, сколько рецепторов надо нацепить на эту искусственную руку, чтобы она смогла так же тонко чувствовать объекты, как рука человека, и сколько дополнительной информации в мозг ИИ это принесёт. И её всю надо увязать со всем остальным. И сколько вы будете обучать робота с реально сложной моторикой, если даже таким простым операциям «робот научился после того, как десятки раз проделал эти операции под управлением человека». Поэтому о приближении к СИИ я уж молчу.

Условно говоря, вы приводите мне в пример то автомобиль, то самолёт, то ракету, — мол, смотрите, прогресс идёт, скорость света уже не так далеко. Но при этом по факту ваши примеры от скорости света сильно далеки, а главное, вы не опровергаете ТО. То есть принципиальные аргументы о невозможности СИИ.

[LOM]

MoonWatcher в сообщении #1642039 писал(а):

Нет никакой тотальной слежки - есть тотальный сбор данных в маркетинговых целях. И то не везде - в этом суть недавнего конфликта Apple с Meta* (Facebook**). А так конечно - ИИ станет отличным инструментом для тотальной слежки, в чем лично я не вижу ничего плохого. Как ни банально звучит, плохими бывают не технологии, а их применение.

* Meta - экстремистская организация, ее деятельность в России запрещена
** Facebook - запрещённая в России соцсеть, принадлежит Meta*

-- 12.06.2024, 23:06 --

ozheredov
Что бы кто не говорил, но длительный тест Тьюринга пока ни один ИИ не проходит, даже если разговор полностью укладывается в заданные программистами рамки(без политики, религии и т.д.). Зайдет разговор на провокационные темы и он ваще скажет что я пас. Так что на помощь в отношениях надеяться не приходиться.

Отношениям ИИ надо отдельно учить, размечать выборку. Кто ж этим заниматься будет?

И это чисто диалоги, без невербалики.