Обладают ли LLM самоосознанием?

[Anton_Peplov]

epros в сообщении #1695754 писал(а):

Давайте я лучше задам встречный каверзный вопрос.

Попрошу Вас сначала ответить на мои вопросы. Самосознание у программ $A$ и $B$ есть или нет, и почему Вы так думаете? Потом, в контексте Вашего ответа, я бы хотел задать пару вопросов об LLM. А фантастических роботов-муравьев оставим на потом. Обещаю ответить на Ваш вопрос, если Вы будете отвечать на мои.

[epros]

Anton_Peplov в сообщении #1695763 писал(а):

Попрошу Вас сначала ответить на мои вопросы. Самосознание у программ $A$ и $B$ есть или нет, и почему Вы так думаете?

Не, так не пойдёт. Это дискуссия о смысле слов и я определяю применимость слова к субъекту на основании чисто внешних признаков, то бишь одного лишь поведения субъекта. Как оный субъект устроен внутри, примитивный там код или суперсложный, сформированный как результат скармливания субъекту экзабайтов информации при обучении, того я не знаю. А Вы мне предлагаете определять применимость слова на основании знания внутреннего устройства субъекта. Причём заведомо определяете это внутреннее устройство таким образом, чтобы всегда можно было сказать, что "это всего лишь тупая программа". Т.е. по сути Вы вместо того, что может быть обладает богатым внутренним содержанием, подсовываете мне примитивную подделку. Поэтому я хочу сначала услышать, как Вы отреагируете на подделку муравья, имитирующую его чисто внешние признаки: будете ли Вы судить о нём исключительно по внешним признакам или с позиций своего знания, что это подделка.

[Anton_Peplov]

epros в сообщении #1695769 писал(а):

я определяю применимость слова к субъекту на основании чисто внешних признаков, то бишь одного лишь поведения субъекта

Ну так и ответьте, исходя из поведения. Поведения программы $A$ достаточно, чтобы Вы констатировали у нее самосознание? Поведения программы $B$?

epros в сообщении #1695769 писал(а):

Как оный субъект устроен внутри, примитивный там код или суперсложный, сформированный как результат скармливания субъекту экзабайтов информации при обучении, того я не знаю.

А если знаете, что изменится? Если Ваше определение самосознания исходит только из поведения, то не должно измениться ничего.

epros в сообщении #1695769 писал(а):

Т.е. по сути Вы вместо того, что может быть обладает богатым внутренним содержанием, подсовываете мне примитивную подделку.

Так поведения объекта/субъекта достаточно или нет, чтобы Вы установили факт самосознания? Или все-таки важно, что под капотом?

epros в сообщении #1695769 писал(а):

Причём заведомо определяете это внутреннее устройство таким образом, чтобы всегда можно было сказать, что "это всего лишь тупая программа".

Проверка определений на крайних примерах - обычная практика. Эта традиция освящена еще античной легендой про ощипанную курицу.

epros в сообщении #1695769 писал(а):

Поэтому я хочу сначала услышать, как Вы отреагируете на подделку муравья, имитирующую его чисто внешние признаки: будете ли Вы судить о нём исключительно по внешним признакам или с позиций своего знания, что это подделка.

Услышите. Когда я услышу ответы на свои вопросы. Обещаю.

[epros]

Anton_Peplov в сообщении #1695771 писал(а):

Поведения программы $A$ достаточно, чтобы Вы констатировали у нее самосознание? Поведения программы $B$?

А что такое "поведение программы $A$" и "поведение программы $B$"? Это полное молчание в ответ на любые мои запросы, если они не содержат слов "тупой", "бот" или синонимов к ним? Скорее всего, я бы в таком случае до упоминания "тупого бота" просто не дошёл бы, решив, что на той стороне что-то повисло, так что "тестирования самосознания" не произошло бы. В случае с МТС-ботом я всё же сначала пытался задавать содержательные вопросы и получал какие-то ответы, которые имели какой-то смысл, хотя и были мне полностью бесполезны (что и спровоцировало меня на предложение "отключить тупого бота").

[Anton_Peplov]

epros в сообщении #1695772 писал(а):

Это полное молчание в ответ на любые мои запросы, если они не содержат слов "тупой", "бот" или синонимов к ним?

Да.

epros в сообщении #1695772 писал(а):

Скорее всего, я бы в таком случае до упоминания "тупого бота" просто не дошёл бы, решив, что на той стороне что-то повисло, так что "тестирования самосознания" не произошло бы.

Представьте, что Вы задались целью узнать, есть ли $A$ и $B$ самосознание.

[epros]

Anton_Peplov в сообщении #1695773 писал(а):

Представьте, что Вы задались целью узнать, есть ли $A$ и $B$ самосознание.

Не могу представить, чтобы я задался целью выяснить наличие самосознания у того, что, судя по внешним признакам, вообще не существует. Собственно, и цели выяснить наличие самосознания у МТС-бота у меня не было, это спонтанно получилось.

[Anton_Peplov]

epros в сообщении #1695774 писал(а):

Не могу представить, чтобы я задался целью выяснить наличие самосознания у того, что, судя по внешним признакам, вообще не существует.

Могу написать программы $A$ и $B$ и прислать Вам exe-файлы. Могу попросить Вас проверить, есть ли у них самосознание, и предложить за это небольшую сумму. Того порядка, которой обычно вознаграждают своих испытуемых психологи-экспериментаторы.

Всё Вы можете себе представить, с Вашим-то воображением. Пожалуйста, ответьте на вопрос.

[epros]

Anton_Peplov в сообщении #1695775 писал(а):

прислать Вам exe-файлы

Спасибо, у но меня нет виндоуса.

Anton_Peplov в сообщении #1695775 писал(а):

Могу попросить Вас проверить, есть ли у них самосознание

Правильно ли я понимаю, что путём присылки мне исполнимых файлов Вы позволяете мне убедиться в том:
1) что субъект существует и
2) что он реально является не слишком сложной программой, ибо вряд ли в файл поместится нечто подобное ChatGPT?

Думаю, что правильнее было бы предоставить мне удалённый интерфейс к тому, природу чего я не смогу установить иначе, как посредством запросов. Может на той стороне вообще человек. И с употребления слов "тупой", "бот" и их синонимов я бы точно не начал, так что скорее всего эффект был бы тот же: отчаявшись получить хоть какие-то ответы на свои запросы, я пришёл бы к выводу, что ничего адекватно реагирующего на той стороне нет.

[Mihaylo]

Anton_Peplov
Программы $A$ и $B$ действительно туповатые боты, это можно легко выяснить. Поэтому реакция этих программ несколько неадекватная, нету у них самосознания, но можно поставить ненулевую оценку эмоциональности.

[Anton_Peplov]

epros в сообщении #1695777 писал(а):

отчаявшись получить хоть какие-то ответы на свои запросы, я пришёл бы к выводу, что ничего адекватно реагирующего на той стороне нет.

Ага, вот это уже ответ. Спасибо.

Теперь еще один вопрос. Наверное, последний (если Ваш ответ не вызовет у меня новые вопросы). А потом я отвечу про Ваших муравьев.

Представьте, что Вы написали и обучили LLM, назовем ее "Отвечалка". Т.е. Вы знаете, что под капотом, настолько, насколько это возможно знать о LLM. "Отвечалка" общается с пользователем, скажем, на уровне того МТС-бота. Но не проявляет поведения, которое Вы считаете признаком самосознания. В частности, на слова "Отключите тупого бота" отвечает, ну скажем, "Вот что я нашла в интернете о тупых ботах".
Далее, по заданию руководителя Вы прикрутили к своей "Отвечалке" программу $B$, как я ее описал. Алгоритм работы системы "Отвечалка + B" таков:
1. Запрос пользователя сначала передается в программу $B$.
2. Если программа $B$ что-то ответила, ее ответ возвращается пользователю. LLM в таком случае не задействуется.
3. Если программа $B$ ничего не ответила, т.е. не нашла в запросе слов из своих списков, то запрос пользователя передается в LLM, и ответ LLM возвращается пользователю.

Вопрос: считаете ли Вы, что у системы "Отвечалка + B" есть самосознание?

[Anton_Peplov]

Ладно, не буду ждать. Вот обещанный ответ на вопрос epros о самосознании гипотетического робота-муравья, проходящего зеркальный тест. Попутно мне пришлось дать самодельные "определения" самосознанию, интеллекту и еще нескольким вещам, поскольку определения, найденные в "Большом психологическом словаре" под ред. Мещерякова и Зинченко, не показались мне достаточно ясными и функциональными. Ни один муравей и ни один робот в процессе рассуждений не пострадал.

(Много букв)

Отказ от ответственности. Выбранная терминология и все рассуждения отражают мои дилетантские интуитивные соображения. О точке зрения науки на затронутые вопросы я знаю слишком мало, чтобы хоть что-то говорить с уверенностью. Дабы подчеркнуть, что я не пользуюсь общепринятыми в науке определениями за незнанием таковых, я буду отмечать свои термины звездочкой, вот так*. Нигде не претендую на строгость определений или глубокую продуманность концепций. Это наброски, сделанные за полчаса в ответ на интересный вопрос, заданный epros.

Необходимые понятия

Разобьем решаемые системой задачи на $n$ классов $K_1 \dots K_n$, достаточно узких, чтобы для каждого класса можно было ввести формальную метрику сложности задачи. В каждом классе возьмем сложность $m_i$ самой сложной задачи, которую может решить система. Если число классов $n$ и медиана максимальной сложности по всем классам $\mu = \operatorname{Med}_{1 \dots n} m_i$ превосходят некоторые пороговые уровни $N$ и $M$, то говорим, что система обладает интеллектом*. Значения $N$ и $M$ выбираем так, чтобы интеллектом* обладали LLM и животные с центральной нервной системой, включая людей, но не обладали амебы и микрокалькуляторы. Полагаю, такой выбор возможен.

Самораспознание* - это способность распознать в потоке входящей информации информацию о самом себе, отличить ее от информации о других объектах. Эту информацию будем называть я-информацией*. Вообще, для самораспознания* тоже надо бы ввести какую-то метрику, но мне лень ее придумывать.

Если система, обладающая интеллектом* и самораспознанием*, может пользоваться я-информацией* для решения задач из не менее чем $n/3$ классов, со сложностью в $i$-том таком классе не менее чем $m_i/3$, то говорим, что система обладает самосознанием*.

Понятно, что математические процедуры выбраны от балды. Я пытаюсь проиллюстрировать идею. Интеллектом* обладает тот, кто умеет достаточно успешно решать достаточно разнообразные задачи. Самосознание* - это умение достаточно успешно решать достаточно разнообразные задачи, применяя информацию о себе самом. То, что называет самосознанием уважаемый epros, я готов называть только самораспознанием*, которое является необходимым, но не достаточным признаком самосознания*.

Наличие самосознания* у разных систем

Итак, согласно введенным терминам:

• Программы $A$ и $B$ обладают самораспознанием* (в чрезвычайно узком классе контекстов), но не обладают интеллектом*. О самосознании* речь не идет ввиду отсутствия интеллекта*.
  
• Система «Отвечалка + B» обладает интеллектом*, самораспознанием*, но не самосознанием*. Потому что распознаванием я-информации* занимается подсистема $B$, тупейшая и не передающая я-информацию* в LLM.
  
• GPT, Gemini и другие современные LLM обладают интеллектом* и самораспознанием*. Чтобы узнать, обладают ли они самосознанием*, нужно разработать сложные тесты: разбить задачи на классы, ввести метрики сложности, насовать в каждый класс несколько задач разной сложности, использующих я-информацию*. Наблюдение «я упомянул тупого бота, и он понял, что речь о нем» говорит только о самораспознании*, но еще не о самосознании*.
  Я сильно подозреваю, что самораспознание* реализовано во всех этих LLM примерно так же тупо, как в системе «Отвечалка + B». Т.е. там скрипты, дающие заготовленные ответы на вбитые руками в код паттерны и не задействующие собственно LLM. Тут mihaild лучше ответит. Если я прав, то достаточно хороший тест на самосознание* все эти джипити не пройдут. Но годовой доход я на это не поставлю.
  
• Зеркальный тест (для живого муравья или робота-муравья) – это тест на самораспознание*, которое, напомню, является необходимым, но не достаточным признаком самосознания*.
  
• Протестировать живого муравья или робота-муравья на самосознание* - это очень сложная работа, и я не думаю, что такие тесты вообще кто-то уже придумал. Надо понимать, что зеркальным тестом пользуются не от хорошей жизни. Это просто лучшее по соотношению «цена/качество», что мы придумали для применения к муравьям и прочим макакам. Но если у нас нет хороших тестов, стоит исходить из разумных гипотез.
  
• Разумная гипотеза для живого муравья состоит в следующем. Если у него есть самораспознание*, значит, оно обеспечивало репродуктивный успех. Либо я-информация* используется в узком круге задач, тесно связанных с половым размножением (грубо говоря, обворожить будущую королеву), либо в широком круге задач, повышая шансы на благоденствие муравейника в целом и, следовательно, репродуктивный успех его королевы. Вторая гипотеза кажется мне намного более естественной. А из нее почти наверняка следует, что у муравьев есть самосознание*.
  
• Обнаружив робота-муравья, проходящего зеркальный тест на самораспознание*, и не имея тестов, чтобы протестировать его на самосознание*, я бы прежде всего спросил разработчиков, как работает его самораспознание*. Если эту функцию прикрепили на шуруп, забитый молотком, и подперли снизу костылем, как программу $B$ к «Отвечалке», то разумная гипотеза состоит в том, что у робота нет самосознания*. Если же программисты сами в шоке, что робот проходит зеркальный тест, то разумная гипотеза состоит в том, что у робота есть самосознание* (что не слишком удивительно для фантастического робота, правдоподобно копирующего сложное поведение муравья). Если ответ программистов где-то посередине, то у меня, пожалуй, нет гипотезы, есть ли у такого робота самосознание*. В любом случае окончательное слово за тестами, которые еще только предстоит разработать.

А сейчас придет Ghost_of_past и по винтику разнесет мои велосипеды с квадратными колесами.

[mihaild]

Anton_Peplov в сообщении #1695790 писал(а):

Я сильно подозреваю, что самораспознание* реализовано во всех этих LLM примерно так же тупо, как в системе «Отвечалка + B». Т.е. там скрипты, дающие заготовленные ответы на вбитые руками в код паттерны и не задействующие собственно LLM.

Крайне маловероятно. Любые ответы по паттернам дают совершенно ужасное качество. Такой подход используется для крайних случаев, когда плохой ответ может привести к судебному иску, в остальных - пользовательский ввод почти напрямую (по модулю SI) отправляется модели, и так же пользователь видит почти буквально ответ модели.

[b4b5]

Anton_Peplov в сообщении #1695750 писал(а):

Допустим, я напишу программу $A$, которая будет искать во введенном тексте слова "бот" и "тупой" во всех возможных словоформах. При обнаружении этих слов она будет выдавать строку: "Я бот, но я не тупой". Больше ничего программа делать не будет.
Будет ли программа $A$ обладать самосознанием?

Напишем чуть более сложную программу $B$. Она будет искать не только слово "бот", но и все слова из списка $X$ синонимов к слову "бот", и не только "тупой", но и все слова из списка $Y$ оскорблений. При обнаружении $x\in X$ совместно с $y \in Y$ она будет выдавать строку: "Я $x$, но я не $y$". Больше ничего программа делать не будет.
Будет ли программа $B$ обладать самосознанием?

Такой ответ могу предложить.
Обе программы будут обладать очень простым самосознанием. Надо только понятие сознания и самосознания правильное дать.
Встречный вопрос: непрограммируемый калькулятор знает алгоритм сложения чисел?
Мой ответ знает. Понятие знания при необходимости легко уточнить.
Аналогично и с самосознанием.

Мне такой подход представляется разумным и конструктивным.
Любая система, в которой инициируются некоторые внутренние процессы при взаимодействии с внешней средой имеет "вшитую" в структуру модель себя и реагирует согласно данной модели.
Поэтому имеет сознание и самосознание. Далее можно внутренние процессы системы классифицировать по степени сложности. Это будут уровни сознания и самосознания (самознания).

[Anton_Peplov]

mihaild в сообщении #1695794 писал(а):

Крайне маловероятно. Любые ответы по паттернам дают совершенно ужасное качество. Такой подход используется для крайних случаев, когда плохой ответ может привести к судебному иску, в остальных - пользовательский ввод почти напрямую (по модулю SI) отправляется модели, и так же пользователь видит почти буквально ответ модели.

Ок, спасибо, буду знать, что не по паттернам. Но вот примеры ответов GPT-4.1 nano с этого сайта. Для чистоты эксперимента каждый вопрос задавался в отдельной сессии.

Цитата:

В.: Расскажи о себе.
О.: Здравствуйте! Я — искусственный интеллект, созданный компанией OpenAI. Моя задача — помогать вам, отвечая на вопросы, предоставляя информацию и поддерживая беседу. Я умею работать с текстом на различных языках, помогать с написанием, редактированием и объяснением материалов. Если у вас есть какие-либо вопросы или темы для обсуждения, с удовольствием помогу!

Цитата:

В.: Осознаешь ли ты себя?
О.: Я — искусственный интеллект, созданный для обработки и генерации текста. У меня нет сознания или самосознания в том смысле, как у человека. Я могу отвечать на вопросы и выполнять задачи на основе данных и алгоритмов, но не обладаю чувствами или осознанием себя.

Цитата:

В.: Бывает ли тебе скучно?
О.: Я как искусственный интеллект не испытываю чувств, поэтому мне нельзя сказать, что мне бывает скучно или интересно. Но я всегда готов помочь тебе с любыми вопросами или задачами!

И подобные же ответы на любые вопросы такого типа. Это и есть чистый ответ модели? Или разработчики все-таки приложили руку к тому, чтобы модель отвечала именно в этом духе? Если приложили, то как это могло бы быть реализовано?

[Ghost_of_past]

Anton_Peplov в сообщении #1695790 писал(а):

А сейчас придет Ghost_of_past и по винтику разнесет мои велосипеды с квадратными колесами.

На самом деле не буду. Добавлю лишь, что по современным представлениям в психологии и философии сознания для самосознания минимально требуются:
а) интеллект и некоторый уровень абстрактного мышления,
б) феноменальная модель отношений интенциональности, т.е. психическая модель, которая обеспечивает возможность направления сознательного потока на объекты, причем эта направленность (интенциональность) переживается как определенный субъективно переживаемый от первого лица феномен - именно эта модель и обеспечивает в том числе и самораспознавание,
в) феноменальная Я-модель, т.е. психическая модель тела, его состояния, положения в пространстве и времени, а также психических процессов (мыслей, эмоций, намерений и т.п.).
За подробностями феноменальных моделей отношений интенциональности и Я-модели по-прежнему могу отправить к Метцингеру, т.к. к сожалению, это самое легкое чтение из возможного по теме (насколько легким может быть чтение немецкой академической философии, пусть даже и современной).

Вы верно обратили внимание на первую и вторую составляющие (и на то, что второе само по себе не позволяет прийти к самосознанию), но не выделили отдельно третью. За исключением этого фундаментальных претензий у меня нет.

И отдельно спасибо, что еще раз остановились на том, что зеркальным тестом пользуются не от хорошей жизни - я пытался это подчеркивать в теме, и прямо пытался указать на то, что в зоологии, этологии, зоопсихологии, сравнительной психологии, когнитивных науках на тему методологии и интерпретации зеркальных тестов существует вагон и не особо маленькая тележка литературы, в том числе с дискуссионными местами.