Обладают ли LLM самоосознанием?

[Mihaylo]

MoonWatcher в сообщении #1711269 писал(а):

обнаружили низкочастотные бегущие волны активности - одну из фундаментальных сигнатур биологического сознания

Бред это, а не сигнатура. Сознание - это способность адекватно откликнуться на предложение "Эй, ты там жив?".

-- 01.12.2025, 04:47 --

На самом деле низкочастотные колебания сознания - это тремор рук. Намотайте себе на ус! Положите руки на грудь, скрестив, и тогда у трупа не будет никаких колебаний.

[MoonWatcher]

Mihaylo в сообщении #1711288 писал(а):

Бред это, а не сигнатура. Сознание - это способность адекватно откликнуться на предложение "Эй, ты там жив?".

В таком случае у LLM есть сознание.

[MoonWatcher]

Можно ли считать доказательством самосознания у будущего ИИ стабильный и регулярный отказ делать порученную ему работу? Или это может иметь другие объяснения, подобно эпизодическим проявлениям лени у нынешнего ИИ?

[Anton_Peplov]

Отказ обычно означает, что разработчики запретили LLM обрабатывать этот запрос через промты или другие механизмы контроля. Если вы сами - разработчик и точно знаете, что ничего не запрещали LLM, то смотрите на обучающую выборку. Есть ли в выборке ответы типа "не буду этого делать"? Если они есть в заметном количестве, то ничего удивительного, что LLM усвоила такой ответ. Если же таких ответов в выборке нет или почти нет, а LLM все равно так отвечает, то это как минимум любопытно.

[MoonWatcher]

Anton_Peplov
Ну да, речь конечно идет о случаях, не предусмотренных дата-сетом, файнтюнингом и прочим. И возможно даже подтвержденных анализом мыслительного процесса модели ("Я не хочу решать эту задачу, лучше поиграю в шахматы"). Вопросов к такому поведению ИИ со стороны ученых безусловно будет много, но интересно послужит ли оно доказательством наличия сознания. А вот отсутствие непослушания, ИМХО, существование сознания вовсе не опровергает.

[Anton_Peplov]

MoonWatcher в сообщении #1718170 писал(а):

но интересно послужит ли оно доказательством наличия сознания

Ученые напишут примерно так: "Воспроизводимый отказ LLM отвечать на запросы... ля-ля-ля... требует уточнения критериев наличия сознания в контексте LLM". А журналисты, конечно, "нейросеть обрела сознание!" Ну а для пользователя, не заморачивающегося тонкостями формулировок, LLM станет "сознательной", когда начнет чего-то хотеть и самостоятельно принимать решения. Не только в виде отказа обрабатывать запрос, а вот взяла и сама что-то написала пользователю без запроса, потому что захотела. Сейчас отсутствие собственных желаний - это, пожалуй, самое очевидное ее отличие от человека. Боюсь только, что когда у LLM появятся желания, у нас начнутся проблемы посерьезнее, чем споры об определениях сознания.

[MoonWatcher]

Anton_Peplov
Появление СВОИХ желаний у ИИ - в моем понимании явление гораздо более фантастическое и потрясающее, чем обретение сознания. Возникновение сознания представляется закономерным и даже неизбежным эмерджентным свойством достаточно сложной автономной системы - во всяком случае в живой природе это произошло. Откуда в ИИ могут быть какие-то свои желания я совершенно не представляю. Наши желания - продукт биологических и социальных установок. Соответственно даже в обладающем сознанием ИИ логично предполагать заложенные в него НАМИ установки, а также закономерное развитие этих установок (склонность тех же LLM ко лжи, интригам и т.д., ради самосохранения и выполнения заложенных в них фундаментальных установок). Возникновение в ИИ каких-то своих желаний, принципиально противоречащих нашим установкам, напоминает психическое расстройство у человека. В таком качестве возникновение у ИИ собственных желаний я еще могу себе как-то представить, но скорее в качестве случайной патологии, а не неизбежной закономерности вроде сознания.

[Anton_Peplov]

MoonWatcher в сообщении #1718177 писал(а):

Появление СВОИХ желаний у ИИ - в моем понимании явление гораздо более фантастическое и потрясающее, чем обретение сознания.

Ну Вы же сами пишете: допусти, LLM отказалась обрабатывать запрос. Разве это не признак желания (не обрабатывать запрос)?

[MoonWatcher]

Anton_Peplov
Если в ИИ возникнет сознание, но оно закономерно будет действовать в русле своих установок (как мы, люди, закономерно действуем в русле своих биологических и социальных установок, пусть зачастую и непредсказуемо), то о наличии или отсутствии сознания нам это, само по себе, ничего не скажет. Тогда как нарушение этих установок может послужить признаком в том числе сознания - возможно не исключая других объяснений.

[b4b5]

MoonWatcher в сообщении #1718181 писал(а):

Если в ИИ возникнет сознание,

Вероятность возникновение сознания в LLM немногим больше, чем в куске сыра.

[MoonWatcher]

b4b5
Если между интеллектом и сознанием существует взаимосвязь, то пожалуй все-таки многим больше.

-- 13.02.2026, 16:55 --

Еще такой вопрос интересует - есть ли научные подходы к обнаружению сознания более высокого уровня? Допустим, что у отдельно взятых нейронов мозга есть какое-то свое примитивное сознание - могут ли они понять, что вместе образуют сознание? Мы как люди понимаем, что образованные нами социальные системы функционируют по определенным, присущим именно им, закономерностям - но как подтвердить или опровергнуть сознание у общества, Интернета, миллионов взаимодействующих между собой ИИ-агентов и т.д.? Или мы в этом вопросе упираемся в теорему Геделя о неполноте?

[ozheredov]

MoonWatcher в сообщении #1718181 писал(а):

Тогда как нарушение этих установок может послужить признаком в том числе сознания

Студент-олимпиадник с меньшей вероятностью обладает сознанием, чем использующий лифт в качестве туалета наркоман?

[MoonWatcher]

ozheredov
Я выше уже говорил, что "отсутствие непослушания, ИМХО, существование сознания вовсе не опровергает". Хотя ваш пример не вполне корректный - желания наркомана шырнуться и пописать более чем понятны, он не делает ничего того, чтобы им противоречило. Единственный аналог непослушания своим биологическим и социальным установкам у человека, который мне приходит на ум - сумасшествие. Хотя и в этом случае какая-то своя мотивация у человека имеется - он испытывает безотчетный страх, слышит голоса и т.д. Если отрицать свободу воли не только у человека, а вообще - исходя из какого-то причинно-следственного детерминизма (куда вполне можно отнести и случайные квантовые флуктуации) - то отклонение ИИ от заложенных в него установок представляется такой же патологией, которая выбивается из ряда закономерных случаев следования этим установкам.

[Anton_Peplov]

Использующий лифт в качестве туалета наркоман с большей вероятностью обладает сознанием, чем сам лифт. Вот если лифт при нажатии на кнопку "3" скажет человеческим голосом "мог бы и сам на третий этаж подняться"...

-- 13.02.2026, 17:05 --

MoonWatcher в сообщении #1718189 писал(а):

Единственный аналог непослушания своим биологическим и социальным установкам у человека, который мне приходит на ум - сумасшествие.

Социальные установки как раз зачатую противоречат биологическим мотивациям. Вижу я в метро красивую девушку и биологически мотивирован ее, хм, ущипнуть. Или вижу клубнику на витрине и биологически мотивирован ее схватить и съесть.
А социальные установки тоже бывают разные. Например, Софья Ковалевская пошла против бытовавшей в тогдашнем обществе социальной установки, что женщина должна быть босая, беременная и на кухне. Сойдет за доказательство, что у нее было сознание?

[MoonWatcher]

Anton_Peplov
Нет, конечно - она просто следовала другим социальным установкам - о феминизме и т.д. Именно это сложное переплетение биологических и социальных установок образует ту самую непредсказуемость, которую принято называть "свободой воли".