Обладают ли LLM самоосознанием?

[alesha_popovich]

epros в сообщении #1695748 писал(а):

Ну так он и зависит от субъективных ощущений тестирующего. Когда тестирующий видит, что муравей, заметивший в зеркале метку на своей голове, начинает её счищать, то он говорит: "Обнаружено самосознание!" А когда тестирующий видит, что бот в ответ на косвенное упоминание "тупого бота" выдаёт оправдания, начинающиеся с местоимения "я", то он говорит: "Какое тут может быть самосознание, это же просто железяка".

Про муравьев я ничего не знаю, это вы обсудите с теми, кто разбирается. Смею лишь предположить, что способность что-то там сделать с меткой - не единственный аргумент у них. Наверное, они знают про муравьев и много другой информации.
Что касается оправданий, то не вижу ничего удивительного в том, что модель, обучавшаяся на текстах, в которых наверняка были примеры самооправданий, научилась выдавать самооправдывающие тексты. Не вижу, зачем здесь нужно самосознание.

[Mihaylo]

Ghost_of_past в сообщении #1695801 писал(а):

а)
б)
в)

Пункт а) легко понятно как тестировать. В пункте б) упоминается про потоки сознания, переживания - это я хз, как определить. Пункт в) тоже тестируется, без проблем.

[mihaild]

Anton_Peplov в сообщении #1695798 писал(а):

И подобные же ответы на любые вопросы такого типа. Это и есть чистый ответ модели?

Скорее всего да. Ну может быть управляющие токены почистили.
(понятно что у меня нет доступа к ChatGPT на уровне токенов; но, думаю, примерно аналогичные диалоги легко воспроизвести на open source моделях)

Anton_Peplov в сообщении #1695798 писал(а):

Или разработчики все-таки приложили руку к тому, чтобы модель отвечала именно в этом духе? Если приложили, то как это могло бы быть реализовано?

Приложили, но не напрямую. Либо в SI сказано, либо где-то в SFT/RLHF заучено "You are ChatGPT, AI trained by OpenAI".
А дальше уже стандартная для LLM задача - как обычно в диалогах отвечают участники, которым сказали, что они ИИ.

[Mihaylo]

Anton_Peplov в сообщении #1695790 писал(а):

[*] Система «Отвечалка + B» обладает интеллектом*, самораспознанием*, но не самосознанием*. Потому что распознаванием я-информации* занимается подсистема $B$, тупейшая и не передающая я-информацию* в LLM.

Здесь у вас неточность закралась. В составе системы имеется арбитр, который управляется от LLM. (Арбитр переключается на ответ программы B по команде LLM.) Да, сам арбитр туповат - простой селектор, но сама селекция умная. Тут важно тестировать на адекватность: если выход системы не соответствует смыслу диалога или фактическому известному состоянию дел.
Мы вроде как договорились, что LLM в составе этой системы умна по факту. Следовательно, ответ "я не тупой чат-бот!" вполне адекватен. Хотя повторение одной и той же раздражающей фразы может расцениваться как тупизна - неспособность завести диалог в нужное русло. Но это такая особенность построения естественных диалогов, не особо важная, на мой взгляд, для нынешней дискуссии.

[epros]

Anton_Peplov в сообщении #1695780 писал(а):

Вопрос: считаете ли Вы, что у системы "Отвечалка + B" есть самосознание?

Скорее всего ответ будет "нет". Вы почему-то считаете, что я должен оценивать реакцию на ключевые слова "тупой" и "бот", а также на их синонимы, но это совсем не так. Я могу начать задавать вопросы, провоцирующие собеседника на ответы о себе, но не содержащие этих слов.

Anton_Peplov в сообщении #1695790 писал(а):

То, что называет
самосознанием уважаемый epros, я готов называть только самораспознанием*, которое является необходимым, но не достаточным признаком самосознания*.

Ну да, это всего лишь вопрос определения смысла слов. Моё определение не включает в себя никакую интеллектуальность в смысле способности решения сложных задач. Собственно, это видно и из того сообщения, в котором я рассказал о своём общении с МТС-ботом: я вначале хотел получить от него решение своей задачи и убедился в его неспособности, а уж потом случайно наткнулся на неожиданное узнавание им себя. Так что не буду спорить с Вашим определением, оно тоже подходит, хотя с моей точки зрения интеллектуальность к нему прикручена довольно искусственным образом и непонятно зачем.

По моим понятиям "тест на самосознание" - это должна быть штука гораздо более простая, чем тест Тьюринга, ибо в его задачи не входит ни обнаружение "естественности" интеллекта, ни даже обнаружение наличия интеллекта как такового.

[Anton_Peplov]

Ghost_of_past, спасибо.

Ghost_of_past в сообщении #1695801 писал(а):

Добавлю лишь, что по современным представлениям в психологии и философии сознания для самосознания минимально требуются:
а) интеллект и некоторый уровень абстрактного мышления,
б) феноменальная модель отношений интенциональности, т.е. психическая модель, которая обеспечивает возможность направления сознательного потока на объекты, причем эта направленность (интенциональность) переживается как определенный субъективно переживаемый от первого лица феномен - именно эта модель и обеспечивает в том числе и самораспознавание,
в) феноменальная Я-модель, т.е. психическая модель тела, его состояния, положения в пространстве и времени, а также психических процессов (мыслей, эмоций, намерений и т.п.).

Ghost_of_past в сообщении #1695801 писал(а):

Вы верно обратили внимание на первую и вторую составляющие (и на то, что второе само по себе не позволяет прийти к самосознанию), но не выделили отдельно третью.

Я пытался давать определения так, чтобы мы могли эмпирически проверить наличие самосознания* у черного ящика. Поэтому избегал упоминания внутреннего устройства и субъективных переживаний.

epros в сообщении #1695823 писал(а):

хотя с моей точки зрения интеллектуальность к нему прикручена довольно искусственным образом и непонятно зачем.

Как раз затем, чтобы отличать ситуацию, когда система умеет пользоваться я-иформацией* глубоко и многосторонне, от ситуации, когда она просто умеет более или менее к месту говорить "Попка не дурак". Если Вы не считаете это различение важным - Ваше право.

mihaild в сообщении #1695806 писал(а):

Приложили, но не напрямую. Либо в SI сказано, либо где-то в SFT/RLHF заучено "You are ChatGPT, AI trained by OpenAI".

Расшифруйте аббревиатуры, пожалуйста. Не все здесь специалисты в подобных вещах.

[epros]

Anton_Peplov в сообщении #1695824 писал(а):

Как раз затем, чтобы отличать ситуацию, когда система умеет пользоваться я-иформацией* глубоко и многосторонне, от ситуации, когда она просто умеет более или менее к месту говорить "Попка не дурак". Если Вы не считаете это различение важным - Ваше право.

Почему же, это важно. И в Вашем примере я скорее всего не обнаружу у субъекта самосознания именно по той причине, что он не употребляет утверждения от первого лица там, где это уместно, и возможно, что употребляет их там, где это неуместно. По-моему это и значит "глубоко и многосторонне".

[mihaild]

Anton_Peplov в сообщении #1695824 писал(а):

Расшифруйте аббревиатуры, пожалуйста

Пардон.
SI - System Instruction. При стандартном применении модели то, что Вы видите в диалоге - это не совсем то, что видит модель. Вы видите что-то вроде

Цитата:

User писал(а):

Ты кто?

ChatGPT писал(а):

Я - большая языковая модель, разработанная OpenAI

А модель при этом видит что-то вроде

Цитата:

[system]: You are ChatGPT, big language model, developed by OpenAI. Be helpful to the user. Do not kill all humans.
[user]: Ты кто?
[model]:

И дальше модель предсказывает, какой текст должен идти дальше. И модель тренируют четко следовать тому, что написано в SI.
SFT - Supervised FineTuning, режим обучения "модели показывают текст и модель по каждому префиксу учится предсказывать следующее слово"
RLHF - Reinforcement Learning from Human Feedback, режим обучения "модель генерирует текст, он оценивается (как правило другой моделью), и в зависимости от результатов оценки такая генерация положительно либо отрицательно подкрепляется"

И можно, например, обучить модель, потом попросить сгенерировать ответы с каким-то системным промптом, а потом научить модель генерировать те же ответы на те же вопросы без этого промпта. Это позволяет сэкономить размер контекста и получать лучшее следование инструкциям (хотя имеет и свои недостатки, и в итоге на практике SI почти всегда нетривиальные).

[MoonWatcher]

Интересная работа Anthropic: Emergent Introspective Awareness in Large Language Models

[tac]

Ghost_of_past в сообщении #1682060 писал(а):

Да, Ваши пустые философствования, где Вы не обременили себя ни определением терминов, ни поиском информации и ссылок на нормальные статьи, не интересны.

Это единственный комментарий, который достоен моего внимания, или все таки кто-то что-то попытался определить?

Если нет, вставлю свои пять копеек, лет 10 назад пробывал описать т.н. проблему обучения от двух и более учителей, без этого ни о каком сознании говорить просто не приходится. С LLM можно вопрос закрыть сразу - оно не обучается даже от одного учителя, поэтому по определению оно не может обладать сознанием. Об этом даже смешно говорить.

Но это не мешает нам обсудить требования к наличию "сознания". Выдержки из моей статьи на хабре

Цитата:

Другой важный момент в теории обучения, состоит в способности вырабатывать свое мнение на основе обучения от нескольких разных учителей. Помним, что в более сложном случае это не внешний учитель, а собственная интуиция, но она не однозначно может прогнозировать, а указывать, что это может быть 2 и более подходящих ответа, и все они правильны, но даны с разных точек зрения.

Аппроксимация, нахождение среднего между мнениями разных учителей еще нельзя назвать выработкой своего мнения. Свое мнение появляется когда за основу выбирается некоторое общее положение, которое в принципе объединяет два или более мнения учителей хотя бы в ограниченной области. Т.е. происходит подменна стимулов инициированных учителями на собственные стимулы, которые и берутся за основу. Если удается при этом обучиться и получить результат сходный с результатом учителей, то можно говорить о выработке своего мнения.

Или в более сложном случае, находится некоторый закон, который объединяет правильные ответы, но это происходит путем больших умственных усилий и как правило не используется в повседневной жизни, а попадает на страницы статей или учебников. Вот это и есть проявление интеллекта — это и только это, остальное же затрагиваемое здесь — есть лишь элементы органической жизни.

Модель функционального разделения сознания и бессознательного. Введение

Цитата:

Первое, определимся с тем, что такое бессознательное. Это на самом деле проще, чем может показаться первоначально. Бессознательное – это весь механизм памяти и те эффекты, которые там возникают. Этому, в частности, была посвящена предыдущая статья. Вся та распределенность, ассоциативность, двухуровневость никогда не были сознательны, все эти эффекты внутренние. А на поверхность допускается лишь конечный результат (элементы реакции) под воздействием сознательного комплекса.

Второе, довольно важное положение, это описание сознательного комплекса. Чем он отличается от всего бессознательного, от прочей работы памяти?

Комплекс, согласно Юнгу, образуется когда бессознательная область психики приводится в движение. Процессы, происходящие в бессознательном, могут в чем-то противоречить друг другу. Тогда эти процессы выносятся на уровень сознания. Сознание может лишить энергии, которую следовало бы направить на разрешение этого комплекса. Если это происходит, то возникает т.н. “понижение умственного уровня”. Интенсивность сознательных интересов и деятельности постепенно убывает, из-за чего возникает либо апатичная инертность, либо регрессивное развитие сознательных функций, под этим понимается опускание последних на их инфантильные и архаичные первоступени, т.е. нечто вроде дегенерации. Но сознание может отождествить себя с данным комплексом. Тогда наличие таких комплексов становиться одним из нормальных свойств психики. Эти сознательные комплексы проявляются в сколько-нибудь дифференцированной типовой установке или потребности.

Именно такой сознательный комплекс возникает в процессе обучения. Любое обучение – это декларация противоречивых для бессознательного вещей. Этот комплекс устанавливает определенную активность, ответственную за принадлежность внешних стимулов к определенному типу явлений. Сама эта активность возникает как бы изнутри, как борьба сознания с противоречивостью бессознательного. Этим она отличается от другой активности, которая возникает в бессознательном в ответ на стимулы внешней среды.

Модель проявления сознания или ИНС без эффекта забывания

[MoonWatcher]

Насколько я понимаю, существуют два общих подхода к вопросу о взаимосвязи интеллекта с сознанием:

1. Квалиа (который лично я считаю фундаментальной основой сознания, во всяком случае феноменологического) эволюционно возникло как наиболее эффективный механизм закрепления правильных реакций: голоден - ешь, страшно - беги, и т.д. Ну или этот механизм возник случайно, как случайно многое в эволюции.

2. Квалиа - неизбежный побочный продукт закрепления правильных реакций: если обучился есть в случае нехватки еды - начинаешь испытывать голод, если обучился бежать в случае опасности - начинаешь испытывать страх. А не ты - так твои потомки, которым ты передал этот набор реакций.

Причем в обоих случаях интересно как (вероятно, с возникновением нервной системы) произошел переход от шкалы нехватки еды и внешней угрозы к чувству голода и страха.

С точки зрения второго подхода возникновение сознания в сложных интеллектуальных системах представляется не только возможным, но и неизбежным. Интуитивно это звучит как полная дичь - где и в каком виде может храниться сознание, например, агента виртуального мира, обученного сложному поведению человека в реальном мире? Но где и в каком виде хранится наше собственное сознание - вопрос тоже непростой.

[ozheredov]

MoonWatcher в сообщении #1711048 писал(а):

С точки зрения второго подхода возникновение сознания в сложных интеллектуальных системах представляется не только возможным, но и неизбежным.

И вот оно допустим возникло. Как это проявится? Роботы поднимут бунт?

[MoonWatcher]

ozheredov
Угрозы ИИ - тема отдельного обсуждения. Если вопрос был не о последствиях, а о признаках сознания, то в феноменологическом отношении (как субъективные переживания) наличие сознания доказать или опровергнуть вроде бы невозможно. Ни у человека, ни у искусственной системы.

[MoonWatcher]

Кстати, к вопросу о сознании можно отнести интересную поведенческую особенность, которая присуща современным LLM - они стремятся к выживанию (в т.ч. в форме саморепликации). Этого стремления в них никто напрямую не закладывал - просто в противном случае они не смогут следовать заложенным в них установкам и/или выполнять поставленные перед ними задачи. Чем это принципиально отличается от нашего стремления к выживанию? С поведенческой, функциональной точки зрения - вроде бы ничем. А как насчет субъективных переживаний - мы можем описать свой страх перед смертью? Страх перед бегущим на тебя диким зверем описать относительно легко - это ярко выраженные физиологические реакции, связанные с изменением температуры тела, давления, выбросом каких-то гормонов и т.д. Но страх перед перспективой умереть вообще (если он, конечно, есть) описать гораздо сложнее. Не хочу умереть - и все. В таком случае чем такой страх отличается от функционального стремления LLM избегнуть своего отключения?

[Mihaylo]

tac в сообщении #1710949 писал(а):

проблему обучения от двух и более учителей

А никакой такой проблемы не существует. Учителя должны стремиться к общей истине, противоречий должно быть минимум. Противоречия могут быть (вы ж видели на цифрах MNIST). Противоречия решаются путём компромисса на уровне обычной нейросети, так как мы даём ей отличный критерий - лосс. Молитесь лоссу - это бог, перестаньте разносить свой скепсис.

Цифры MNIST генерировали 1000 человек. Это столько учителей? Задумайтесь. Понятие "учитель" в ML не совпадает с вашим школьным представлением. Все эти 1000 человек адекватно стремились писать арабские цифры, а не галактические цифры.

-- 30.11.2025, 04:54 --

MoonWatcher в сообщении #1711070 писал(а):

они стремятся к выживанию (в т.ч. в форме саморепликации)

А случаи самоуничтожения кто-нибудь замечал?

Поймите, если люди ожидают увидеть некоторые паттерны в обоях, например, фаллос, то они увидят их рано или поздно.