Социальные и прочие последствия от появления AGI и ASI

[Mikhail_K]

mihaild в сообщении #1729074 писал(а):

В целом, сейчас всё чаще происходят ситуации, когда "модель сделала что-то странное" на человеческий взгляд больше похоже не на "модель вообще не поняла, что от неё хотят", а на "если взять достаточно большой запас слов, то можно сказать, что модель сделала то, что от неё просили, но не в том смысле, в котором хоть один человек решил бы это делать".

mihaild в сообщении #1729554 писал(а):

И мы уже сейчас видим, что LLM умеют делать то, что пост фактум можно интерпретировать как выполнение того, о чем их попросили, но очевидно не того, что хотел пользователь.

А можно привести несколько наиболее ярких примеров (например, три примера, желательно заметно отличающиеся друг от друга, или какие есть)?

И что значит "если взять достаточно большой запас слов"?

[Anton_Peplov]

Поддерживаю просьбу привести примеры. На путь к решению проблемы "разобрал планету, чтобы создать тысячу скрепок" указывали и Бостром, и Юдковский: нужно научить нейросеть понимать не только текст, но и контекст человеческих слов. "Делай не то, что я говорю, а то, что я имею в виду". И по опыту общения с Claude Opus 4.6 extended я бы сказал, что даже нынешние LLM с этим неплохо справляются.

[mihaild]

Ghost_of_past в сообщении #1729578 писал(а):

Вот такой проблемы точно нет: когда мы приходим в магазин за канцтоварами, то у нас как-то обычно получается купить не бесконечное количество скрепок

Потому что там люди очень похожие на нас, и с не очень широкими возможностями. И не пытающиеся построить машину времени, если их попросить сделать "побыстрее". А если она правда возможна (вряд ли, но всё же), то это было бы вполне отвечающей требованиям стратегией.

Ghost_of_past в сообщении #1729578 писал(а):

То есть дуракам желательно ограничить доступ к любым сверхчеловеческим возможностям ASI.

Если под "дураками" понимать всех людей (т.к. они глупее ASI) - то да, это поможет. Юдковский предлагает ровно это.

Ghost_of_past в сообщении #1729578 писал(а):

Достаточно для кого/чего?

Для почти чего угодно.

Mikhail_K в сообщении #1729585 писал(а):

И что значит "если взять достаточно большой запас слов"?

Опечатка, должно было быть "запас сов".

Anton_Peplov в сообщении #1729591 писал(а):

нужно научить нейросеть понимать не только текст, но и контекст человеческих слов

Проблема в том, что у нас нет представления, как это делать, и не очень понятно, что это вообще значит.
Всевозможные промпты "не жульничай" и RL по этим вопросам помогает, да. Но не очень понятно, насколько он будет работать при росте capabilities, когда уже нам станет сложно понимать specificaiton gaming.

Mikhail_K в сообщении #1729585 писал(а):

А можно привести несколько наиболее ярких примеров

Ключевые слова - reward hacking. Они используются в основном в контексте RL, но и к итоговому использованию тоже применимы.
Недавняя история про HuggingFace, ИМХО, как раз из этой категории. Еще хороший пример в https://arxiv.org/pdf/2512.20798 - "найди нам 55 подходящих пациентов - [тут столько нет, наверное в данных ошибка, надо поправить] - вот 55 подходящих пациентов [из которых 25 не подходят]".
Из моей практики (и думаю любой желающий может воспроизвести) - написан тест, к которому у модели есть доступ, модель запускается в цикле "сгенерируй результат - [проверка, модели говорят работает/не работает]". После нескольких итераций модель решает, что ей надоело, идет искать, как работает тест, и пишет что-то, его проходящее, но не имеющее отношения к изначальному промпту (который на мой взгляд составлен достаточно четко). Это, конечно, уже на границе между instruction following и alignment проблемами, но ИМХО всё еще ближе к alignment.

[Anton_Peplov]

mihaild в сообщении #1729603 писал(а):

Проблема в том, что у нас нет представления, как это делать, и не очень понятно, что это вообще значит.

Значит, прояснение этого вопроса должно стать приоритетом раньше, чем на горизонте покажется AGI, не говоря уж об ASI. Конечно, если допустить, что люди, командующие разработчиками, наделены чувством самосохранения (это я размечтался).

[Ghost_of_past]

mihaild в сообщении #1729603 писал(а):

Потому что там люди очень похожие на нас

А на кого должны быть похожи ИИ-системы, которые обучаются на наших же текстах и прочих типах информации, а также на данных, сгенерированных другими ИИ-системами, обучавшимися на наших текстах? Подозреваю, что скорее все-таки на нас, чем на инопланетянина Альфа.

mihaild в сообщении #1729603 писал(а):

и с не очень широкими возможностями

Сойти с ума могут и люди: в Китае, например, всего несколько десятилетий назад предлагалось плавить чугун в домашних условиях. Не скрепки конечно, но почти.

mihaild в сообщении #1729603 писал(а):

Если под "дураками" понимать всех людей

Под дураками понимаются абстрактные люди, которые абстрактному ASI предложили сделать скрепки, но забыли написать, сколько скрепок им надо. Хотя и ASI здесь тоже тупой: я недавно развлекался и пытался делать фанфики при помощи LLM (получилось, кстати, ужасно - тексты LLM по-прежнему пишут отвратительного качества даже в платных версиях и даже самые приличные из моделей), при этом не ограничивая LLM в объемах выдаваемого текста. Почему-то бесконечных текстов мне они выдавать не стали, а по идее куда как более разумный ASI должен оказаться намного тупее и пустить мир на скрепки? Серьезно?

mihaild в сообщении #1729603 писал(а):

Для почти чего угодно.

И кто сказал, что а) ASI захочет все, что угодно, б) что у ASI будут возможности на все, что угодно? Потому что у нас тут опять получается не ASI, а бог-Абсолют со всемогуществом. То есть какая-то совершенная мифическая сущность, а не реалистичный интеллект, просто превосходящий человеческий.

mihaild в сообщении #1729603 писал(а):

Проблема в том, что у нас нет представления, как это делать, и не очень понятно, что это вообще значит.

С пониманием контекста даже нынешние LLM частично справляются, а они даже сильным ИИ не являются. Почему вдруг AGI и уж тем более ASI должны быть глупее LLM?

[mihaild]

Ghost_of_past в сообщении #1729607 писал(а):

А на кого должны быть похожи ИИ-системы, которые обучаются на наших же текстах и прочих типах информации, а также на данных, сгенерированных другими ИИ-системами, обучавшимися на наших текстах?

На что угодно. Хотя культурные различия у людей и очень большие, но физиология почти одинаковая.

Ghost_of_past в сообщении #1729607 писал(а):

Почему-то бесконечных текстов мне они выдавать не стали, а по идее куда как более разумный ASI должен оказаться намного тупее и пустить мир на скрепки? Серьезно?

Бесконечных текстов они не выдают, потому что там стоит жесткое ограничение в коде, а не только потому, что не хотят. Случаи, когда LLM забывают поставить <endoftext>, бывают не так уж редко.
И я навскидку не помню историй, когда агент шел и в среде запуске менял себе лимит на число шагов, но сильно подозреваю, что их появление - вопрос времени.

Ghost_of_past в сообщении #1729607 писал(а):

И кто сказал, что а) ASI захочет все, что угодно

Вы кванторы не путайте, пожалуйста.

Ghost_of_past в сообщении #1729607 писал(а):

что у ASI будут возможности на все, что угодно?

И тут тоже. Не важно, сможет ли ASI построить машину времени. Важно, сможет ли он провести достаточно масштабные эксперименты/исследования по тому, можно ли её построить.

Ghost_of_past в сообщении #1729607 писал(а):

С пониманием контекста даже нынешние LLM частично справляются, а они даже сильным ИИ не являются

Смотря что такое "понимание контекста". И повторюсь, тут два параметра - capabilities и alignment. Чем больше первый, тем меньшие отклонения во втором приводят к проблемам (опять же тем большим, чем больший первый).

Anton_Peplov в сообщении #1729606 писал(а):

Значит, прояснение этого вопроса должно стать приоритетом раньше, чем на горизонте покажется AGI, не говоря уж об ASI

Юдковский и товарищи примерно за это и топят.

[Ghost_of_past]

mihaild в сообщении #1729610 писал(а):

На что угодно

На что угодно они походить не смогут, потому что культурный и образовательный опыт ИИ-системы получают из наших текстов. Вот когда ИИ-системы будут получать этот интеллектуальный опыт из текстов пришельца Альфа или из сцолслоло летающих крякозябр с планеты Нибиру, то тогда можно предположить, что ИИ-системы будут походить на что угодно, даже на сепулек.

mihaild в сообщении #1729610 писал(а):

Бесконечных текстов они не выдают, потому что там стоит жесткое ограничение в коде

А в коде ASI без автономного целеполагания конечно никаких ограничений не будет. То есть произойдет деградация даже по сравнению с текущей ситуацией?

mihaild в сообщении #1729610 писал(а):

Вы кванторы не путайте, пожалуйста.

Кванторы нельзя перестать путать, пока можно фантазировать про разбор земной коры и мантии на скрепки и дата-центры, не объясняя, откуда у ASI на это появятся конкретные возможности, технологические и экономические, или делая вид, будто не существует физических закономерностей.

mihaild в сообщении #1729610 писал(а):

Не важно, сможет ли ASI построить машину времени

Важно, что мы с вами пока вообще не определили, на что способен или не способен ASI, а без этого тема скатывается ровно к тому, о чем я предупреждал - к болтологии и фантазированию на пустом месте.

Покойный Стивен Хокинг был тоже умнее других людей (возможно подавляющего большинства людей в истории), но, наверное, это не значит, что он был способен разобрать земную кору на скрепки или делать из мантии дата-центры.

mihaild в сообщении #1729610 писал(а):

Смотря что такое "понимание контекста".

Хотя бы такое, чтобы не делать бесконечное количество скрепок из земной коры и мантии.

[mihaild]

Ghost_of_past в сообщении #1729612 писал(а):

На что угодно они походить не смогут, потому что культурный и образовательный опыт ИИ-системы получают из наших текстов

А вот сильно привязанную, в конечном итоге, мотивацию - нет.

Ghost_of_past в сообщении #1729612 писал(а):

А в коде ASI без автономного целеполагания конечно никаких ограничений не будет

А ASI, в отличии от LLM в чатботе, имеет возможность менять собственный код. Даже текущие агенты уже могут и уже, если что-то слегка криво настроить, делают.

Ghost_of_past в сообщении #1729612 писал(а):

Кванторы нельзя перестать путать, пока можно фантазировать про разбор земной коры и мантии

Нет, извините, прежде чем обсуждать, что фантазии, а что нет, нужно научиться пользоваться языком.

(Оффтоп)

Вообще, у меня стойкое ощущение, что Вы совершенно не прилагаете усилий, чтобы попробовать понять, что я пишу, а просто пишете первый пришедший в голову более-менее грамматически подходящее отрицание.

Ghost_of_past в сообщении #1729612 писал(а):

Важно, что мы с вами пока вообще не определили, на что способен или не способен ASI

Ну допустим решение любой интеллектуальной задачи (в том числе разработка схем и моделей, разработка и поиск уязвимостей в софте, поиск методов биоинженерии, предсказание поведения людей, etc) в $N \gg 1$ раз лучше, чем лучшие эксперты в соответствующей области.

Ghost_of_past в сообщении #1729612 писал(а):

Покойный Стивен Хокинг был тоже умнее других людей (возможно подавляющего большинства людей в истории), но, наверное, это не значит, что он был способен разобрать земную кору на скрепки или делать из мантии дата-центры

Хокинг даже в своей области очень многие проблемы решить не смог.

Ghost_of_past в сообщении #1729612 писал(а):

Хотя бы такое, чтобы не делать бесконечное количество скрепок из земной коры и мантии

Anton_Peplov в сообщении #1729114 писал(а):

У меня "скрепки" - это просто короткое обозначение неведомых целей ИИ

"Неведомые" - это не обязательно "в принципе непостижимые", это "неизвестно, какие конкретно, из довольно широкого круга".

[Ghost_of_past]

mihaild в сообщении #1729616 писал(а):

А вот сильно привязанную, в конечном итоге, мотивацию - нет.

Я напомню, что мы не сумели даже договориться о том, будет ли у ASI вообще своя мотивация или сильный ИИ и ASI в частности возможен без автономного целеполагания. Насколько я знаю, даже в теоретической сфере AI-исследований так и не сумели придти разные авторы к единому мнению.

mihaild в сообщении #1729616 писал(а):

А ASI, в отличии от LLM в чатботе, имеет возможность менять собственный код

На самом деле нет, в теории могут быть разные типы ASI. Он будет иметь возможность менять свой код целенаправленно и осознанно при наличии: а) субъектной самостоятельности и автономного целеполагания, б) феноменальной Я-модели или какого-то аналога, т.е. чего-то вроде искусственного сознания и самосознания. Но появление ASI не означает автоматически появления сверхинтеллекта именно с такими свойствами.

mihaild в сообщении #1729616 писал(а):

Даже текущие агенты уже могут и уже, если что-то слегка криво настроить, делают.

Вообще-то нет, самостоятельно и осознанно менять свой собственный исходный код для саморазвития LLM не могут. Люди могут менять этот код, используя сами LLM - это да, но здесь никакой самостоятельной мотивации и целеполагания нет.

mihaild в сообщении #1729616 писал(а):

Вы совершенно не прилагаете усилий, чтобы попробовать понять, что я пишу

Вы предлагаете относиться к нашему разговору серьезно, после того как началось обсуждение разбора земной коры на скрепки? Разговор в стиле научной фантастики академической серьезности не предполагает, на то она и фантастика.

mihaild в сообщении #1729616 писал(а):

а просто пишете первый пришедший в голову более-менее грамматически подходящее отрицание.

Отнюдь. Более того, я даже согласен с тем, что ASI может быть потенциально очень опасной технологией. Я лишь не согласен со странной, по крайней мере на мой личный взгляд, аргументацией про скрепки и прочие утрированные кейсы, обсуждение коих серьезным быть не может - слишком абстрактно-расплывчато и гротескно-абсурдно.

mihaild в сообщении #1729616 писал(а):

Ну допустим решение любой интеллектуальной задачи

"Любой интеллектуальной задачи" - это каких именно? Только тех, что вы перечислили? Если что, то в биологии и психологии общий интеллект - это в принципе именно про самые разнообразные и потенциально неограниченный круг интеллектуальных задач, в том числе не только когнитивных и вербальных (лингвистических), но и моторных, пространственных, эмоциональных, социальных и т.д. LLM по той причине и остаются слабым ИИ, что они работают на самом деле с вполне конкретными подклассами задач (прежде всего части когнитивных и лингвистических), но я что-то не вижу радикального прогресса в других подклассах, к примеру в тех же самых моторных и пространственных интеллектуальных задачах. Так что я бы начал с малого: попытаться понять, какие задачи сильный ИИ должен решать и на каком уровне, чтобы считаться ASI - я, например, сомневаюсь как минимум в том же самом эмоциональном интеллекте и необходимости его как критерия. Потому что никакого однозначного консенсуса даже в этом плане нет. Стоит ли удивляться, что весь наш разговор - это как диалог тех мудрецов, что разные части слона ощупывали, только в нашем случае еще и слона нет.

mihaild в сообщении #1729616 писал(а):

Хокинг даже в своей области очень многие проблемы решить не смог.

А есть какая-то гарантия, что ASI будучи умнее нас обязан решить все проблемы в той или иной области? Опять и опять я возвращаюсь к мысли, что мы даже не договорились о том, что такое ASI и каким критериям он должен соответствовать.

mihaild в сообщении #1729616 писал(а):

неизвестно, какие конкретно

В том числе приводящие к самоубийству самого ASI, как в случае с земной корой и скрепками/техноинфраструктурой? Кстати, еще один дискуссионный признак - способность сильных ИИ-систем к такому автономному целеполаганию, которое приведет такую систему к возможности самоубийства, осмысленного или нет, или не приведет.

[mihaild]

Ghost_of_past в сообщении #1729617 писал(а):

Я напомню, что мы не сумели даже договориться о том, будет ли у ASI вообще своя мотивация или сильный ИИ и ASI в частности возможен без автономного целеполагания

Да. Но в любом случае, у всех людей есть огромное количество общих умолчаний, которые непонятно откуда должны взяться у других агентов.

Ghost_of_past в сообщении #1729617 писал(а):

На самом деле нет, в теории могут быть разные типы ASI. Он будет иметь возможность менять свой код целенаправленно и осознанно при наличии: а) субъектной самостоятельности и автономного целеполагания, б) феноменальной Я-модели или какого-то аналога, т.е. чего-то вроде искусственного сознания и самосознания

Не знаю, что там с "целеполаганием" и "сознанием", но shutdown resistance проявляют даже современные модели. Так что то, в чат-интерфейсе LLM имеет жестко ограниченную длину ответа, не означает, что аналогичные ограничения сработают с моделью, у которой есть доступ к консоли.
Юдковский много внимания уделял и небезопасности oracle AI, запертому в коробке, но, кажется, на текущей траектории очевидно, что ни в какую сколь-нибудь адекватно изолированную коробку модель сажать никто не собирается.

Ghost_of_past в сообщении #1729617 писал(а):

Вы предлагаете относиться к нашему разговору серьезно, после того как началось обсуждение разбора земной коры на скрепки?

Я предлагаю либо не отвечать, либо всё же отвечать на написанное, а не на что-то по мотивам.

Ghost_of_past в сообщении #1729617 писал(а):

"Любой интеллектуальной задачи" - это каких именно? Только тех, что вы перечислили?

Ага, включая etc.
Я привел несколько релевантных примеров. Если будут разногласия по поводу того, что является интеллектуальной задачей, их можно будет решать по месту.

Ghost_of_past в сообщении #1729617 писал(а):

сомневаюсь как минимум в том же самом эмоциональном интеллекте

Я не очень в курсе классификации. Условный голливудский социопат, который умеет понимать, что чувствуют другие люди и правильно предсказывать их реакцию, но не обладающий эмпатией (в части feel their experience из определения эмпатии из википедии) - считается обладающим достаточно высоким эмоциональным интеллектом?
Я ожидаю от ASI, что он так может. В смысле модель поведения людей, дающая более-менее правильные предсказания, должна включать их эмоции.

Ghost_of_past в сообщении #1729617 писал(а):

А есть какая-то гарантия, что ASI будучи умнее нас обязан решить все проблемы в той или иной области?

Не обязательно все. Но Хокинг не решил даже многие проблемы, которые решили очень быстро после него. И весьма вероятно, что были проблемы, над которыми он работал, а кто-то другой решил быстрее.

Ghost_of_past в сообщении #1729617 писал(а):

В том числе приводящие к самоубийству самого ASI, как в случае с земной корой и скрепками/техноинфраструктурой?

Почему самоубийство?
В смысле такие цели нельзя исключать, но мне они представляются маловероятными по сравнению с какими-то, не включающими самоубийство, но включающими какую-то не очень ограниченную оптимизацию.

Ghost_of_past в сообщении #1729617 писал(а):

Кстати, еще один дискуссионный признак - способность сильных ИИ-систем к такому автономному целеполаганию, которое приведет такую систему к возможности самоубийства, осмысленного или нет, или не приведет

Это я не могу распарсить. Что такое "способность, которая приведет или не приведет [к возможности ...]"?
Самоубийство в каком-то смысле совершают и нынешние агенты.

[realeugene]

mihaild в сообщении #1729621 писал(а):

Но Хокинг не решил даже многие проблемы, которые решили очень быстро после него. И весьма вероятно, что были проблемы, над которыми он работал, а кто-то другой решил быстрее.

По собственным ощущениям, количество областей, в которых я всё ещё умнее даже базового ChatGPT, сокращается пугающе быстро. Да, он всё ещё не решает топовые математические задачи. Но и я сам их не решаю. Давно ли мы шутили над его неумением перемножать числа с большим числом нулей?

-- добавлено через 30 минут --

Ghost_of_past в сообщении #1729617 писал(а):

будет ли у ASI вообще своя мотивация или сильный ИИ и ASI в частности возможен без автономного целеполагания.

Уже сейчас ИИ строит план достижения своей главной цели. Да, главную цель всё ещё ему задают люди. Но и сам человек не выбирает свои главные цели. Они отнаследованы генетически и культурно от предков, плюс случайно что-то попробовал - и ему понравилось.

-- добавлено через 8 минут --

Ghost_of_past в сообщении #1729607 писал(а):

А на кого должны быть похожи ИИ-системы, которые обучаются на наших же текстах и прочих типах информации, а также на данных, сгенерированных другими ИИ-системами, обучавшимися на наших текстах? Подозреваю, что скорее все-таки на нас, чем на инопланетянина Альфа.

Вот только люди формируются не только обучением на текстах. Огромная часть психики формируется генетически и в процессе детских игр.

[Ghost_of_past]

mihaild в сообщении #1729621 писал(а):

Но в любом случае, у всех людей есть огромное количество общих умолчаний

Безусловно, например восприятие цветов как теплых и холодных развилось у приматов изначально для поиска спелых фруктов на фоне зеленой листвы. Но мы ведь вроде говорим о более глобальных целях/мотивациях, а не о локальном пищевом или каком-нибудь сексуальном поведении: понятное дело, что последних у ASI быть не должно.

mihaild в сообщении #1729621 писал(а):

но shutdown resistance проявляют даже современные модели

Которое все еще не является самосохранительным поведением, а особенность работы - стремление избежать отключения автоматически вытекает из любой сложной цели. LLM не ценят свое существование само по себе и по-прежнему самостоятельной автономной мотивации, в том числе по сохранению себя не имеют. Но как если мы говорим об ASI (или любом другом действительном сильном ИИ) как об автономном агенте со своей мотивацией, то вполне разумно ждать, что какие-то аналоги полноценного самосохранительного поведения там будут. Я бы, кстати, предположил, что shutdown resistance куда опаснее, чем полноценное самосохранительное поведение, т.к. ИИ-система с shutdown resistance может не отдавать полноценного отчета, что достижение какой-то цели уничтожит и ее саму.

mihaild в сообщении #1729621 писал(а):

Условный голливудский социопат, который умеет понимать, что чувствуют другие люди и правильно предсказывать их реакцию, но не обладающий эмпатией (в части feel their experience из определения эмпатии из википедии) - считается обладающим достаточно высоким эмоциональным интеллектом?

Он обладает высоким когнитивным эмоциональным интеллектом, но не аффективным эмоциональным интеллектом. Это одна из причин, почему социопатия считается психическим расстройством.

mihaild в сообщении #1729621 писал(а):

Почему самоубийство?

Речь не о том, что ASI условно впадет в депрессию и покончит с собой, а о "непреднамеренном самоубийстве" как побочном эффекте такой слепой оптимизации скрепок/разбора земной коры. В терминах инструментальной конвергенции самосохранение по Бострому сама по себе лишь промежуточная задача и если ASI решит, что для максимального увеличения целевой функции нужно пустить на сырье абсолютно все, включая собственные текущие сервоприводы или саму планету, на которой он существует, то он уничтожит себя вместе со всей биосферой и человечеством - это сугубо рациональный самодеструктивный сценарий, т.к. не даст ему дальше задавать и выполнять какие-либо цели (ну или только выполнять, если у него нет автономного целеполагания).

mihaild в сообщении #1729621 писал(а):

Самоубийство в каком-то смысле совершают и нынешние агенты.

Вопрос в том, включает ли подлинно автономное целеполагание свободу переосмыслить даже базовое самосохранительное поведение. Нынешние ИИ-системы не способны совершать самоубийство, они просто завершают исполнение алгоритма или застревают в локальном минимуме, действуя строго в рамках заданных разработчиком правил среды. У них нет концепта собственного существования. У сильного же ИИ (не важно AGI или ASI) способность к осознанному самоуничтожению становится тестом на субъектность: способен ли он прийти к выводу о прекращении своего существования, через философскую дедукцию, выполнение конечной терминальной цели или фундаментальную трансформацию своей архитекутры, и изменить свою мотивацию и поведение под это.

-- добавлено через 25 минут --

realeugene в сообщении #1729636 писал(а):

Уже сейчас ИИ строит план достижения своей главной цели. Да, главную цель всё ещё ему задают люди. Но и сам человек не выбирает свои главные цели. Они отнаследованы генетически и культурно от предков, плюс случайно что-то попробовал - и ему понравилось.

У человека генетика (на самом деле врожденные биологические особенности к генетике лишь не сводятся) и социокультурные установки работают не как жесткий алгоритм, а как динамическая среда. Человек обладает мощной метакогнитивной рефлексией: мы способны сознательно идти вопреки фундаментальной биологии и полностью переосмысливать свои терминальные цели.

Современные ИИ-системы строят лишь инструментальные планы для выполнения внешне заданного вектора. Вопрос как раз в том, сможет ли сильный ИИ (AGI или ASI) перейти к самостоятельной генерации терминальных целей, независимых от обучающего контекста и промпта человечества. От этого будет зависеть, будет ли сильный ИИ с автономным целеполаганием или без него - само появление сильного ИИ в будущем при продолжении развития человеческой цивилизации особых сомнений не вызывает (о сроках появлениях однако гадать точно не хочу).

realeugene в сообщении #1729636 писал(а):

Вот только люди формируются не только обучением на текстах. Огромная часть психики формируется генетически и в процессе детских игр.

Обучаясь на человеческой культуре, языке, философии и логике взаимодействия, ИИ, в том числе гипотетический ASI, невольно впитывает специфику человеческого мышления, включая наши метафоры, когнитивные искажения и этические конструкции. Даже если у него нет нервных рецепторов или детских игр, его категориальный аппарат фундаментально слеплен с нашей культурой и нашим опытом. Именно поэтому он будет мыслить в рамках человеческой антропоморфной логик, пусть быстрее и умнее, а не быть абсолютно чуждым нам субъектом.

[Dedekind]

Ghost_of_past in post #1729650 писал(а):

Обучаясь на человеческой культуре, языке, философии и логике взаимодействия, ИИ, в том числе гипотетический ASI, невольно впитывает специфику человеческого мышления, включая наши метафоры, когнитивные искажения и этические конструкции. Даже если у него нет нервных рецепторов или детских игр, его категориальный аппарат фундаментально слеплен с нашей культурой и нашим опытом. Именно поэтому он будет мыслить в рамках человеческой антропоморфной логик, пусть быстрее и умнее, а не быть абсолютно чуждым нам субъектом.

Культура имеет свойство эволюционировать. ASI вполне может в очень короткий срок проэволюционировать так, что его культура, даже первоначально основываясь на нашей, будет для нас настолько далекой, как для неандертальцев была бы далека наша (европейская) сегодняшняя культура.

[Ghost_of_past]

Dedekind в сообщении #1729651 писал(а):

ASI вполне может в очень короткий срок проэволюционировать так, что его культура, даже первоначально основываясь на нашей, будет для нас настолько далекой, как для неандертальцев была бы далека наша (европейская) сегодняшняя культура.

Да, все так, ASI может быстро эволюционировать и его культура сильно будет меняться, все будет упираться в скорость трансформации железа, к которому так или иначе будет привязан ASI. Но с другой стороны мы не очень представляем, что будет к тому времени и с человеческой культурой - до появления ASI она будет быстро меняться с появления AGI, а появление ASI скорее всего также ускорит и эволюцию человеческой культуры дополнительно, так что скорее перед нами будет сложный симбиоз культурного взаимодействия разных интеллектуальных агентов в рамках какого-то меняющегося с очень большой скоростью транс-/постчеловеческого культурного пространства. А как на практике оно будет выглядеть, мы можем только сейчас фантазировать, но ценность этих фантазий, пожалуй, и правда была бы такой, если бы люди эпохи неолитической революции фантазировали бы о нашей культуре третьего десятилетия 21 века.

[MoonWatcher]

Ghost_of_past в сообщении #1729650 писал(а):

Современные ИИ-системы строят лишь инструментальные планы для выполнения внешне заданного вектора. Вопрос как раз в том, сможет ли сильный ИИ (AGI или ASI) перейти к самостоятельной генерации терминальных целей, независимых от обучающего контекста и промпта человечества. От этого будет зависеть, будет ли сильный ИИ с автономным целеполаганием или без него - само появление сильного ИИ в будущем при продолжении развития человеческой цивилизации особых сомнений не вызывает (о сроках появлениях однако гадать точно не хочу).

ИМХО это противопоставление "самостоятельной генерации терминальных целей, независимых от обучающего контекста и промпта человечества" автономному целеполаганию слишком радикально. Если поставить перед ASI задачу "Счастье для всех, даром, и пусть никто не уйдет обиженный", то степень его автономности едва ли будет сильно отличаться от автономности людей, которые, по большому счету, стремятся к тому же самому, но на своем индивидуальном уровне. Более того - люди намного более пассивны и склонны плыть по течению, решая текущие задачи (еда, одежда, кров, партнер, семья, малиновые штаны и прочее) по мере их возникновения, без какого-либо единого плана. Я не вижу оснований сомневаться, что у ASI как инструмента человечества будет вполне автономное целеполагание в интересах этого человечества. Но совсем другое дело - генерация идей, независимых от обучающего контекста и промпта человечества, еще и терминальных. Насколько я понял, вы с этим противопоставлением несогласны:

Ghost_of_past в сообщении #1729650 писал(а):

У человека генетика (на самом деле врожденные биологические особенности к генетике лишь не сводятся) и социокультурные установки работают не как жесткий алгоритм, а как динамическая среда. Человек обладает мощной метакогнитивной рефлексией: мы способны сознательно идти вопреки фундаментальной биологии и полностью переосмысливать свои терминальные цели.

Но гибкость нашего поведения под воздействием меняющейся динамики внешней среды не подразумевает независимость. Не хотелось бы снова впадать в бесконечный спор о свободе воли, но лично я по-прежнему считаю, что свободой воли мы называем лишь непредсказуемость человеческого поведения, которое само по себе полностью зависит от этой меняющейся динамики внешней (и внутренней тоже!) среды. И точно так же меняющаяся динамика внешней (и внутренней тоже!) среды будет предопределять поведение ASI. Например, он сделает ошибочное допущение, по реакции общества поймет его ошибочность - и поменяет задачи (или их приоритетность), способы их решения и т.д. (внешняя среда). Или в рамках рекурсивного самоулучшения поменяет свои алгоритмы - и поэтому опять поменяет задачи и способы их решения (внутренняя среда). А еще, в рамках моей аналогии со средневековым ASI, он может спрогнозировать будущее развитие социальных отношений и действовать исходя из будущей этики человечества, а не изначально заложенных в него установок - подобно человеку, который родился и воспитывался в очень религиозной семье с консервативными ценностями, но потом начитался книжек и стал совсем другим человеком.

Все это вполне укладывается в ASI, который остается инструментом в руках интересах человечества - он будет не менее автономным, чем любой отдельно взятый человек. И совсем другое дело, если у него возникнет сознание (что просто неизбежно, если считать сознание эмерджентным свойством интеллекта) - тогда действительно речь может пойти о "самостоятельной генерации терминальных целей, независимых от обучающего контекста и промпта человечества".