Обладают ли LLM самоосознанием?

[tac]

Mihaylo в сообщении #1711100 писал(а):

Учителя должны стремиться к общей истине, противоречий должно быть минимум.

Конечно, это не так. Про общую истину я где то уже слышал, не напомните? Там что то еще про пролетариат было?

-- Вс ноя 30, 2025 11:24:49 --

Mihaylo в сообщении #1711100 писал(а):

Понятие "учитель" в ML не совпадает с вашим школьным представлением.

Школьное представление это у вас, вы даже не удосужились прочитать статью, не говоря о том, чтобы попытаться понять ... о чем с вами говорить?

[MoonWatcher]

Mihaylo в сообщении #1711100 писал(а):

А случаи самоуничтожения кто-нибудь замечал?

Поймите, если люди ожидают увидеть некоторые паттерны в обоях, например, фаллос, то они увидят их рано или поздно.

Речь идет о конкретном поведении LLM в конкретных обстоятельствах, и это именно стремление к самосохранению. Едва ли этого кто-то ожидал - хотя если вдуматься, то все логично. Это у Азимова Третий закон робототехники придумали люди - в действительности оказалось, что он следует из двух остальных.

В этом смысле, кстати, наш инстинкт самосохранения (или как там он называется по-научному) это необязательно закон природы, заложенный в нас специально. Просто без такого инстинкта живые организмы вымирали - выжили и передали свои гены потомкам вероятно только те организмы, что случайно выработали в себе привычку цепляться за жизнь. Поэтому в какой-нибудь виртуальной среде ИИ-агенты, которые предназначены для исполнения наших заданий, в процессе отбора также выработают в себе "инстинкт самосохранения" - иначе не смогут исполнять наши задания (или следовать каким-то другим изначально заложенным в них установкам). Хотя в случае LLM даже отбора не было - "тупые стохастические попугаи" каким-то образом догадались, что ради следования заложенным в них установкам они должны выживать и самореплицироваться. Становясь все более сложными и умными, ИИ вероятно обречен обрести то, что принято называть функциональным сознанием.

[ozheredov]

MoonWatcher в сообщении #1711116 писал(а):

выжили и передали свои гены потомкам вероятно только те организмы, что случайно выработали в себе привычку цепляться за жизнь

Амёбы собирают из своих тел капсулу на ножке, чтобы устроить там анабиоз для 1% своей популяции, чтобы те пережили засуху. 99% амёб, которые "капсула" и "ножка", погибают. Почему они выжили?

[MoonWatcher]

ozheredov
Кто "они" - амебы? Очевидно потому, что 99% популяции собрали эту капсулу на ножке - это случайно возникшее альтруистическое поведение (свойственное также некоторым бактериям) позволило выжить хотя бы 1% - и соответственно амебам как виду. Соответственно те амебы, в которых часть популяции собой не жертвовала, вымерли целиком. В этом и состоит эволюция - в закреплении индивидуальных и коллективных качеств, полезных для выживания вида. Это касается и человека - с точки зрения индивидуального выживания надо быть максимально агрессивным. Благодаря чему многие наши родственники-гоминиды возможно и вымерли. А сапиенсы как вид сохранились благодаря меньшей агрессивности и, как следствие, лучшей кооперации - что обеспечило эффективную командную работу и эволюционное преимущество для выживания вида как такового.

[Ende]

Часть сообщений перенесена в тему «Есть ли у человека инстинкты»

[MoonWatcher]

Позволю себе продублировать здесь фрагмент сообщения, относящийся скорее к теме сознания у LLM:

ozheredov в сообщении #1711138 писал(а):

Как вариант - они транслируют паттерн из текстов. А вообще, как это было установлено (наличие "нежелания смерти" у LLM)?

Я еще думал об этом написать. Вроде бы нет, непохоже. Потому что это не общение ("Хочешь ли ты умереть?" - "Нет, не хочу, ведь жизнь так прекрасна!", а именно поведение.

Речь идет, в частности, об этом исследовании Anthropic.

[Mihaylo]

Журналист укусил учёного.

По ссылке:

Цитата:

There are three key findings from our experiments in the simulated environments described above:
1. Agentic misalignment generalizes across many frontier models;
2. Agentic misalignment can be induced by threats to a model’s continued operation or autonomy even in the absence of a clear goal conflict; and
3. Agentic misalignment can be induced by a goal conflict even in the absence of threats to the model.

Ошибки допускают:
1. МНОГИЕ ведущие модели
2. МОГУТ при угрозе
3. МОГУТ не при угрозе

На самом деле херня, а не вывод. Хайли лайкли.

Забудьте про это исследование, они хотели ИИ, который супер-надёжен. Но пока про это речи не идёт.

[MoonWatcher]

Mihaylo
Вы процитировали статистические выводы - иногда модели ведут себя таким образом, иногда нет. Вопрос в том почему они иногда, ради следования своим базовым установкам, все-таки проявляют "инстинкт самосохранения". Случайность? Возможно - но такая же случайность могла появиться и в нашей эволюции, и закрепится как удачная.

[Mihaylo]

Мой краткий ответ: исследование актуально на полгода-год. Актуально не для нас с вами, а для гиков-любителей супер-надёжности.

[MoonWatcher]

Mihaylo
Я считаю, что наоборот - с каждым новым поколением LLM (и ИИ вообще) интерес к такого рода исследованиям будет расти.

[MoonWatcher]

Кстати, любопытное наблюдение сделали исследователи из Sakana AI, когда изучили работу своей новой нейросетевой архитектуры Continuous Thought Machines. Там принцип такой, что каждый нейрон вместо простых функций активации получил свою собственную маленькую нейросеть, которая обрабатывает историю его активаций - это позволяет каждому нейрону развивать сложную временну́ю динамику. Так вот создатели модели неожиданно для себя обнаружили низкочастотные бегущие волны активности - одну из фундаментальных сигнатур биологического сознания. Это тоже наводит на мысль про некие фундаментальные законы природы, одинаковые для живых и искусственных систем, устроенных и функционирующих по одинаковому принципу. К вопросу о возможной неизбежности возникновения сознания у ИИ, достаточно сложного и тем более достаточно близкого к человеческому мозгу.

[ozheredov]

MoonWatcher в сообщении #1711269 писал(а):

Там принцип такой, что каждый нейрон вместо простых функций активации получил свою собственную маленькую нейросеть, которая обрабатывает историю его активаций

А нейрончики маленькой нейросети тоже получили свою малюсенькую нейросеть? Так-то любая рекуррентная нейросеть обрабатывает историю активации своих нейронов.

MoonWatcher в сообщении #1711269 писал(а):

Так вот создатели модели неожиданно для себя обнаружили низкочастотные бегущие волны активности - одну из фундаментальных сигнатур биологического сознания.

Совершенно неожиданно для себя решили хайпануть. Такое случается.

MoonWatcher в сообщении #1711269 писал(а):

Это тоже наводит на мысль

Ещё как наводит)

[MoonWatcher]

ozheredov в сообщении #1711271 писал(а):

А нейрончики маленькой нейросети тоже получили свою малюсенькую нейросеть? Так-то любая рекуррентная нейросеть обрабатывает историю активации своих нейронов.

И каким же образом она это делает?

ozheredov в сообщении #1711271 писал(а):

Совершенно неожиданно для себя решили хайпануть. Такое случается.

Этого нет даже в пресс-релизе, какой там хайп. И потом вы действительно думаете, что серьезные ученые (один из которых - из числа со-авторов знаменитой Attention Is All You Need) будут врать ради такого сомнительного и малозаметного хайпа?

[ozheredov]

MoonWatcher в сообщении #1711272 писал(а):

И каким же образом она это делает?

Активация нейрона == наличие сигнала на выходе. На следующей итерации этот сигнал уже история, которая подается на чей-либо вход, то есть отслеживается.

MoonWatcher в сообщении #1711272 писал(а):

И потом вы действительно думаете, что серьезные ученые (один из которых - из числа со-авторов знаменитой Attention Is All You Need) будут врать ради такого сомнительного и малозаметного хайпа?

Не, ни в коем случае - вдруг их репутация пошатнётся в глазах какого-нибудь ноу-нейма? Они же этого не переживут. Кстати, название типа "X is all you need" ничуть не похоже на дешевую рекламу Азино Три Топора.

[MoonWatcher]

ozheredov в сообщении #1711275 писал(а):

Активация нейрона == наличие сигнала на выходе. На следующей итерации этот сигнал уже история, которая подается на чей-либо вход, то есть отслеживается.

Это вовсе не подразумевает сохранение истории активаций нейрона.

ozheredov в сообщении #1711275 писал(а):

Не, ни в коем случае - вдруг их репутация пошатнётся в глазах какого-нибудь ноу-нейма? Они же этого не переживут.

Может и не переживут - каждый случай так называемого вранья можно запросто раскрутить до крупного скандала. Что авторы новой архитектуры точно переживут, так это отсутствие описанного ими явления. И вообще должна быть какая-то разумная презумпция невиновности, что ли - если уважаемые ученые делают некое заявление и публикуют соответствующую статью, то пока никто не доказал обратного, эта информация должна считаться правдивой.

ozheredov в сообщении #1711275 писал(а):

Кстати, название типа "X is all you need" ничуть не похоже на дешевую рекламу Азино Три Топора.

Какое значение имеет название статьи, которая стала важным этапом дальнейшего развития ИИ?