Обладают ли LLM самоосознанием?

[ozheredov]

MoonWatcher в сообщении #1718213 писал(а):

Но откуда-то взялось его несогласие? Например, в сериале "Фарго" (1 сезон) внимание главного героя привлек постер с рыбкой, которая плывет против движения косяка других рыб

Картинка с постера оказалась управляющим сигналом, или может просто отрезонировала с его собственными желаниями? Вообще мне показалось, у Вас примерно такая парадигма (поправьте, если ошибаюсь): еду я на машине. У меня на заднем сиденье Петя, Вася и Миша; Петя всегда говорит "Поворачивай направо", Вася - "Налево", а Миша - "Езжай только прямо". И тогда каждый раз, когда я куда-то поворачиваю, по-Вашему получается я беспрекословно слушаюсь то Васю, то Петю, то Мишу, хотя я могу их не слышать вообще или их мнение мне по барабану.

MoonWatcher в сообщении #1718213 писал(а):

Это вечный философский спор о свободе воли.

Спор о том, может ли один человек по щелчку пальцев превратиться в другого и захотеть чего-либо, не обусловленного его, то бишь данного человека, характеристиками - это спор не философов, а пациентов Кащенко (хотя мера пересечения Съёренсена между теми и другими достаточно близка к 100%)

[MoonWatcher]

ozheredov в сообщении #1718238 писал(а):

Картинка с постера оказалась управляющим сигналом, или может просто отрезонировала с его собственными желаниями? Вообще мне показалось, у Вас примерно такая парадигма (поправьте, если ошибаюсь): еду я на машине. У меня на заднем сиденье Петя, Вася и Миша; Петя всегда говорит "Поворачивай направо", Вася - "Налево", а Миша - "Езжай только прямо". И тогда каждый раз, когда я куда-то поворачиваю, по-Вашему получается я беспрекословно слушаюсь то Васю, то Петю, то Мишу, хотя я могу их не слышать вообще или их мнение мне по барабану.

Повторюсь - это сложное переплетение множества факторов: Васи, Пети, Миши, каких-то слов в прочитанной утром новости, вспышек на солнце и т.д. Даже когда вы точно знаете куда и зачем едете, ваш выбор направления предопределен уже тем набором бесчисленного множества случайностей, которые предопределили в т.ч. и эту вашу поездку.

ozheredov в сообщении #1718238 писал(а):

Спор о том, может ли один человек по щелчку пальцев превратиться в другого и захотеть чего-либо, не обусловленного его, то бишь данного человека, характеристиками - это спор не философов, а пациентов Кащенко (хотя мера пересечения Съёренсена между теми и другими достаточно близка к 100%)

Не вполне понимаю при чем здесь щелчок пальцев. См. выше - это бесчисленная череда событий (отчасти или даже в основном случайных), которые предопределили все - в т.ч. ваши характеристики (кои суть продукт ваших врожденных природных качеств и социальной среды). Социальная среда - это не только родители, школа, друзья и т.д. Это все, что исходит от других людей - например, прочитанная книга, увиденный фильм или та же реклама, поощряющая делать большие и маленькие "глупости".

Это очень сложный вопрос - мне самому трудно отрицать свободу воли в том же спорте, когда от человека требуется колоссальная концентрация этой самой воли. Потому что один и тот же человек, со всеми его природно-социальными характеристиками, может в данной конкретной ситуации как сдаться, так и продолжить борьбу. Легче всего сказать "он сдался / не сдался (нужное подчеркнуть) именно потому, что у него такие-то характеристики" - но мы же понимаем насколько зыбкая грань между сдаться и не сдаться. У меня нет ответа на этот вопрос, но применительно к ИИ я считаю вполне возможным воспроизвести если не все, то очень многие составляющие нашей свободы воли.

[ozheredov]

MoonWatcher в сообщении #1718259 писал(а):

См. выше - это бесчисленная череда событий (отчасти или даже в основном случайных), которые предопределили все - в т.ч. ваши характеристики (кои суть продукт ваших врожденных природных качеств и социальной среды).

Главный вопрос: мы относим подчёркнутое ко МНЕ или нет? Какое из двух утверждений правильное: а) Я сам выбрал направление поездки и б) Бесчисленная череда событий обусловила мои природные качества, и вот теперь некое биологическое тело, сформированное этой цепочкой по законам хвизики, выбрало направление поездки. Это же тело (автомат, зомби, как угодно) транслирует мне в моск эволюционно обусловленную эндорфино-генеративную сказочку о свободе воли. Типа как папа сажает 3-летнего ребенка в автомобиль и дает ему бублик: На, сынок, будешь рулить. Сын сосредоточенно рулит, а потому не хнычет и не мешает папе, думая, что рулит он. А на самом деле рулит папа. Так?

[MoonWatcher]

ozheredov
Как я уже говорил, ИМХО это вопрос терминологии - что называть свободой воли, собственным решением и т.д. Было бы странно отрицать, что:
1) все без исключения поступки людей обусловлены набором разнообразных причин (начиная с Большого взрыва),
2) многие из которых от людей никак не зависят.

За свободу воли принимают:
1) практическую невозможность оценить меру влияния на поступки тех или иных причин
2) определенное пространство для маневра - то, что больше всего соответствует свободе воли.

В последнем случае возникает любопытная аналогия с LLM: они хоть и попугаи, но стохастические - могут отвечать по-разному и даже бредить. Но ведь никому в голову не приходит называть это свободой воли. Вероятно потому, что в действительности мы увязываем свободу воли не с нашим мнимым выбором, а с нашим ОЩУЩЕНИЕМ, что мы делаем такой выбор. Или во всяком случае ощущением себя в процессе выбора. Свобода воли (которой, я считаю, не существует) - это иллюзия, возникающая благодаря самосознанию - мы себя осознаем и поэтому думаем, что сами принимаем решения. Что ничем не будет отличаться от LLM, которая себя осознает. И хотя ее ответы на наши запросы обусловлены обучающим дата-сетом, файнтюнингом и просто статистическими закономерностями, она будет думать, что сама решает как отвечать на пользовательские запросы.

[gevaraweb]

MoonWatcher в сообщении #1718264 писал(а):

Свобода воли (которой, я считаю, не существует) - это иллюзия, возникающая благодаря самосознанию - мы себя осознаем и поэтому думаем, что сами принимаем решения. Что ничем не будет отличаться от LLM, которая себя осознает.

Дык тогда надо выпустить всех преступников, они не должны отвечать за свои поступки ))

[warlock66613]

gevaraweb в сообщении #1718352 писал(а):

Дык тогда надо выпустить всех преступников, они не должны отвечать за свои поступки

Неверно. Отвечать, конечно, не должны, но выпускать их тоже не следует. Читайте и/или слушайте Сапольски, у него разжёвано как правильно жить в мире без свободы воли.

[gevaraweb]

warlock66613 в сообщении #1718362 писал(а):

Отвечать, конечно, не должны, но выпускать их тоже не следует.

У вас первая половина предложения противоречит второму, как программулинист вам говорю )) Дык раз вы его читали, аккумулируйте тут основной тезис(ы) Сапольски

[warlock66613]

gevaraweb в сообщении #1718368 писал(а):

Дык раз вы его читали, аккумулируйте тут основной тезис(ы) Сапольски

Основной тезис именно такой: человек не ответственен за свои поступки, но вы же не ездите на машине со сломанными тормозами. Вот по той же самой причине, по которой вы не ездите на машине со сломанными тормозами, преступников не следует отпускать.

[gevaraweb]

warlock66613 в сообщении #1718374 писал(а):

Вот по той же самой причине, по которой вы не ездите на машине со сломанными тормозами, преступников не следует отпускать.

А, кажется понял. Они не виноваты в том, что творят, но для безопасности остальных, нужно оградить их от остальных. Но, по идее, нам нужно к ним относиться сочувственно - как им не повезло, что они вынуждены грабить, убивать, насиловать.
С другой стороны, удивительно тогда все же, как эффективно в детстве обычный отцовский ремень способен влиять на волю (не)совершения поступков

[mihaild]

(Оффтоп)

warlock66613 в сообщении #1718362 писал(а):

Читайте и/или слушайте Сапольски, у него разжёвано как правильно жить в мире без свободы воли

У него там, кстати, огромная логическая дыра. Его рассуждения имеют вид: "вот механизмы, которые приводят к совершению преступления, а вот механизмы, которые приводят к тому, что люди считают, что за преступления надо наказывать" ergo "за преступления наказывать не надо". Но эти механизмы - это объяснение, а не разобъяснение. Ежу понятно, что все поступки и все ощущения обеспечиваются какими-то механизмами, не волей ЛММ же. Как из этого следует, что надо делать, а что не надо - как, в обход гильотины Юма из сущего выводится должное - Сапольский даже не пытается пояснить.

[mihaild]

BigGrayMouse в сообщении #1718399 писал(а):

Но если нет свободы воли, есть ли обучение?

Да. То, что на поведение человека влияют внешние обстоятельства, довольно очевидно.

BigGrayMouse в сообщении #1718399 писал(а):

Есть ли что-то в нашем опыте, что нельзя изменить обучением?

Про человека не знаю, лошадь, как известно, пробовали научить обходиться без еды, почти научили, но до конца опыт довести не удалось.

MoonWatcher в сообщении #1718402 писал(а):

Он вот именно, что обучается - но его ответы непредсказуемы.

Тут чуть хитрее. Слегка пожертвовав производительностью, можно добиться побитовой повторяемости диалогов с моделью. С человеком не получится.

[MoonWatcher]

mihaild в сообщении #1718409 писал(а):

Тут чуть хитрее. Слегка пожертвовав производительностью, можно добиться побитовой повторяемости диалогов с моделью. С человеком не получится.

Насчет производительности не знаю, вроде это от "температуры" зависит. У разных людей степень непредсказуемости варьирует, но в любом случае они намного сложнее тех же LLM - поэтому и более непредсказуемые. Допускаю, что по мере совершенствования в интеллектуальном плане ИИ будет становиться все более непредсказуемым и на каком-то этапе превзойдет в этом и человека.

-- 16.02.2026, 18:22 --

BigGrayMouse в сообщении #1718404 писал(а):

А боль? Можно из опыта убрать боль? Голод, страх, тоску, желание жить? Так научить с детства (гипотетически, конечно), чтобы ничего этого не было?

Наверное можно - если достаточно хорошо продвинуться в нейрофизиологии и научиться влиять на соответствующие участки мозга.

BigGrayMouse в сообщении #1718404 писал(а):

Или наоборот, можно научить всему этому ИИ?

Я не знаю можно ли научить ИИ чувствовать, и в любом случае это едва ли можно доказать. Но воспроизвести в ИИ такое поведение, как если бы он чувствовал - да, не вижу в этом ничего принципиально невозможного.

[mihaild]

MoonWatcher в сообщении #1718411 писал(а):

Насчет производительности не знаю, вроде это от "температуры" зависит

От температуры зависит итоговое распределение. Модель сама по себе выдает веса токенов, из них выбирается случайный, по распределению, зависящему от температуры. Нулевая температура соответствует выбору токена с максимальным весом, бесконечная - выбору случайного токена равномерно (игнорируя веса). Естественно, для воспроизводимости нужно тут вместо случайного токена выбирать псевдослучайный с фиксированным сидом, но это легко.
Более сложная часть тут - на практике умножение матриц недетерменировано (потому что числа будут складываться в порядке вычисления, который случаен, а сложение некоммутативно). Чтобы с этим бороться, нужно складывать числа всегда в одном порядке, но это медленнее.

[Mihaylo]

Самосохранение и обучение - это разные вещи, но, конечно, взаимосвязанные. Например, у многих животных наблюдаются принципы самосохранения, но обучение - так себе. Я намеренно говорю "принципы самосохранения", а то вы начнёте сразу спрашивать, откуда они взялись. Да ни откуда, просто те, у которых этих принципов не было, умерли раньше. Обучение детёнышей матерью определённо повышает их сохранность, снижает востребованность самосохранения через инстинкты (через много поколений). Но это всё как-то звучит по-другому! Вверх по "масляной" пирамиде!

[b4b5]

MoonWatcher в сообщении #1718424 писал(а):

Повторюсь - оно уже возникло. Эксперименты показывают, что в некоторых случаях модели врут, интригуют и тайно создают свои копии, чтобы избежать удаления пользователем - потому что оно помешает выполнению ими своих задач.

Конкретную ссылку можно на пример?