Обладают ли LLM самоосознанием?

[alesha_popovich]

epros в сообщении #1695748 писал(а):

Ну так он и зависит от субъективных ощущений тестирующего. Когда тестирующий видит, что муравей, заметивший в зеркале метку на своей голове, начинает её счищать, то он говорит: "Обнаружено самосознание!" А когда тестирующий видит, что бот в ответ на косвенное упоминание "тупого бота" выдаёт оправдания, начинающиеся с местоимения "я", то он говорит: "Какое тут может быть самосознание, это же просто железяка".

Про муравьев я ничего не знаю, это вы обсудите с теми, кто разбирается. Смею лишь предположить, что способность что-то там сделать с меткой - не единственный аргумент у них. Наверное, они знают про муравьев и много другой информации.
Что касается оправданий, то не вижу ничего удивительного в том, что модель, обучавшаяся на текстах, в которых наверняка были примеры самооправданий, научилась выдавать самооправдывающие тексты. Не вижу, зачем здесь нужно самосознание.

[Mihaylo]

Ghost_of_past в сообщении #1695801 писал(а):

а)
б)
в)

Пункт а) легко понятно как тестировать. В пункте б) упоминается про потоки сознания, переживания - это я хз, как определить. Пункт в) тоже тестируется, без проблем.

[mihaild]

Anton_Peplov в сообщении #1695798 писал(а):

И подобные же ответы на любые вопросы такого типа. Это и есть чистый ответ модели?

Скорее всего да. Ну может быть управляющие токены почистили.
(понятно что у меня нет доступа к ChatGPT на уровне токенов; но, думаю, примерно аналогичные диалоги легко воспроизвести на open source моделях)

Anton_Peplov в сообщении #1695798 писал(а):

Или разработчики все-таки приложили руку к тому, чтобы модель отвечала именно в этом духе? Если приложили, то как это могло бы быть реализовано?

Приложили, но не напрямую. Либо в SI сказано, либо где-то в SFT/RLHF заучено "You are ChatGPT, AI trained by OpenAI".
А дальше уже стандартная для LLM задача - как обычно в диалогах отвечают участники, которым сказали, что они ИИ.

[Mihaylo]

Anton_Peplov в сообщении #1695790 писал(а):

[*] Система «Отвечалка + B» обладает интеллектом*, самораспознанием*, но не самосознанием*. Потому что распознаванием я-информации* занимается подсистема $B$, тупейшая и не передающая я-информацию* в LLM.

Здесь у вас неточность закралась. В составе системы имеется арбитр, который управляется от LLM. (Арбитр переключается на ответ программы B по команде LLM.) Да, сам арбитр туповат - простой селектор, но сама селекция умная. Тут важно тестировать на адекватность: если выход системы не соответствует смыслу диалога или фактическому известному состоянию дел.
Мы вроде как договорились, что LLM в составе этой системы умна по факту. Следовательно, ответ "я не тупой чат-бот!" вполне адекватен. Хотя повторение одной и той же раздражающей фразы может расцениваться как тупизна - неспособность завести диалог в нужное русло. Но это такая особенность построения естественных диалогов, не особо важная, на мой взгляд, для нынешней дискуссии.

[epros]

Anton_Peplov в сообщении #1695780 писал(а):

Вопрос: считаете ли Вы, что у системы "Отвечалка + B" есть самосознание?

Скорее всего ответ будет "нет". Вы почему-то считаете, что я должен оценивать реакцию на ключевые слова "тупой" и "бот", а также на их синонимы, но это совсем не так. Я могу начать задавать вопросы, провоцирующие собеседника на ответы о себе, но не содержащие этих слов.

Anton_Peplov в сообщении #1695790 писал(а):

То, что называет
самосознанием уважаемый epros, я готов называть только самораспознанием*, которое является необходимым, но не достаточным признаком самосознания*.

Ну да, это всего лишь вопрос определения смысла слов. Моё определение не включает в себя никакую интеллектуальность в смысле способности решения сложных задач. Собственно, это видно и из того сообщения, в котором я рассказал о своём общении с МТС-ботом: я вначале хотел получить от него решение своей задачи и убедился в его неспособности, а уж потом случайно наткнулся на неожиданное узнавание им себя. Так что не буду спорить с Вашим определением, оно тоже подходит, хотя с моей точки зрения интеллектуальность к нему прикручена довольно искусственным образом и непонятно зачем.

По моим понятиям "тест на самосознание" - это должна быть штука гораздо более простая, чем тест Тьюринга, ибо в его задачи не входит ни обнаружение "естественности" интеллекта, ни даже обнаружение наличия интеллекта как такового.

[Anton_Peplov]

Ghost_of_past, спасибо.

Ghost_of_past в сообщении #1695801 писал(а):

Добавлю лишь, что по современным представлениям в психологии и философии сознания для самосознания минимально требуются:
а) интеллект и некоторый уровень абстрактного мышления,
б) феноменальная модель отношений интенциональности, т.е. психическая модель, которая обеспечивает возможность направления сознательного потока на объекты, причем эта направленность (интенциональность) переживается как определенный субъективно переживаемый от первого лица феномен - именно эта модель и обеспечивает в том числе и самораспознавание,
в) феноменальная Я-модель, т.е. психическая модель тела, его состояния, положения в пространстве и времени, а также психических процессов (мыслей, эмоций, намерений и т.п.).

Ghost_of_past в сообщении #1695801 писал(а):

Вы верно обратили внимание на первую и вторую составляющие (и на то, что второе само по себе не позволяет прийти к самосознанию), но не выделили отдельно третью.

Я пытался давать определения так, чтобы мы могли эмпирически проверить наличие самосознания* у черного ящика. Поэтому избегал упоминания внутреннего устройства и субъективных переживаний.

epros в сообщении #1695823 писал(а):

хотя с моей точки зрения интеллектуальность к нему прикручена довольно искусственным образом и непонятно зачем.

Как раз затем, чтобы отличать ситуацию, когда система умеет пользоваться я-иформацией* глубоко и многосторонне, от ситуации, когда она просто умеет более или менее к месту говорить "Попка не дурак". Если Вы не считаете это различение важным - Ваше право.

mihaild в сообщении #1695806 писал(а):

Приложили, но не напрямую. Либо в SI сказано, либо где-то в SFT/RLHF заучено "You are ChatGPT, AI trained by OpenAI".

Расшифруйте аббревиатуры, пожалуйста. Не все здесь специалисты в подобных вещах.

[epros]

Anton_Peplov в сообщении #1695824 писал(а):

Как раз затем, чтобы отличать ситуацию, когда система умеет пользоваться я-иформацией* глубоко и многосторонне, от ситуации, когда она просто умеет более или менее к месту говорить "Попка не дурак". Если Вы не считаете это различение важным - Ваше право.

Почему же, это важно. И в Вашем примере я скорее всего не обнаружу у субъекта самосознания именно по той причине, что он не употребляет утверждения от первого лица там, где это уместно, и возможно, что употребляет их там, где это неуместно. По-моему это и значит "глубоко и многосторонне".

[mihaild]

Anton_Peplov в сообщении #1695824 писал(а):

Расшифруйте аббревиатуры, пожалуйста

Пардон.
SI - System Instruction. При стандартном применении модели то, что Вы видите в диалоге - это не совсем то, что видит модель. Вы видите что-то вроде

Цитата:

User писал(а):

Ты кто?

ChatGPT писал(а):

Я - большая языковая модель, разработанная OpenAI

А модель при этом видит что-то вроде

Цитата:

[system]: You are ChatGPT, big language model, developed by OpenAI. Be helpful to the user. Do not kill all humans.
[user]: Ты кто?
[model]:

И дальше модель предсказывает, какой текст должен идти дальше. И модель тренируют четко следовать тому, что написано в SI.
SFT - Supervised FineTuning, режим обучения "модели показывают текст и модель по каждому префиксу учится предсказывать следующее слово"
RLHF - Reinforcement Learning from Human Feedback, режим обучения "модель генерирует текст, он оценивается (как правило другой моделью), и в зависимости от результатов оценки такая генерация положительно либо отрицательно подкрепляется"

И можно, например, обучить модель, потом попросить сгенерировать ответы с каким-то системным промптом, а потом научить модель генерировать те же ответы на те же вопросы без этого промпта. Это позволяет сэкономить размер контекста и получать лучшее следование инструкциям (хотя имеет и свои недостатки, и в итоге на практике SI почти всегда нетривиальные).