Обладают ли LLM самоосознанием?

[epros]

Ghost_of_past в сообщении #1694249 писал(а):

epros в сообщении #1694247 писал(а):

Было сказано, что реакция бота на упоминание мною "тупого бота" была в него "вмонтирована".

Конечно, а какая тут может быть альтернатива, если это простой чат-бот без надстройки в виде LLM над ним с каким-то более сложным обучением? Или надстройка там была?

Я не знаю и мне это безразлично. Я вижу, что этот бот - весьма тупой, тем не менее, то, что я имел в виду его, он распознал, хотя прямых указательных личных местоимений типа "ты" я не использовал.

Ghost_of_past в сообщении #1694249 писал(а):

И также очевидно, что обучение биологических организмов достаточно существенно отличается от обучения LLM, не говоря уж об относительно простых чат-ботах.

То, о чём Вы говорите, не тянет на "достаточно существенно".

Ghost_of_past в сообщении #1694249 писал(а):

обучение чат-ботов - это вычислительный процесс, в то время как можно ли обучение маленького ребенка алгоритмизовать и формализовать - это большой и дискуссионный вопрос

А Вы знаете, что значит "алгоритмизировать"? Если верить тезису Чёрча (а оснований не верить нет), то неалгоритмизируемое вообще выходит за пределы представимого доступными человеку средствами. Например, невычислимые функции (примеры которых известны) именно что никак не могут быть вычислены (для любого аргумента), а не только с помощью машины Тьюринга.

Ghost_of_past в сообщении #1694249 писал(а):

обучение стандартных чат-ботов, вроде тех что используются мобильными операторами или банками, обычно ограничено массивами данных в текстовом или звуковом виде, в то время как обучение ребенка производится за счет разных анализаторов и сенсорных систем

Вот именно. Всё сводится к различиям в форме представления информации: печатная она или устная плюс тыкание пальцем. И эти различия Вы именуете "существенными"? А по-моему это всего лишь техническая особенность интерфейса: те боты, о которых мы сейчас говорим, предназначены для общения в текстовых чатах, но ничто не мешает научить бота распознавать устную речь и изображения (примеры известны).

[realeugene]

epros в сообщении #1694279 писал(а):

то неалгоритмизируемое вообще выходит за пределы представимого доступными человеку средствами.

Всё-таки не совсем так. Неалгоритмизируемое непознаваемо в том смысле, что нельзя его вычислить точно. Но строить приближённые эмпирические модели, работающие достаточно хорошо, ничто не запрещает. Например, обучить нейросетку. Или мозг ребёнка. Или просто жёстко закодировать ответы чат-бота, настроенного на узкую область применения голосового меню, как это делали, когда компы были слабее. Тут я согласен: принципиальной разницы нет. Важен результат.

-- 15.07.2025, 11:42 --

Ghost_of_past в сообщении #1694198 писал(а):

realeugene в сообщении #1694183

писал(а):
При чём тут "бодрствование вне сновидений"?

Напрямую. Это важнейший медицинский критерий.

Это критерий состояния сознания для человека. Возможно, для млекопитающих. Видят ли сны пчёлы - вопрос наверное любопытный, но он не может влиять на определение понятия сознания в общем случае. Различие между бодрствованием и сновидением у людей должно в общем случае следовать из определения сознания, а не быть частью определения.

[epros]

realeugene в сообщении #1694282 писал(а):

Неалгоритмизируемое непознаваемо в том смысле, что нельзя его вычислить точно. Но строить приближённые эмпирические модели, работающие достаточно хорошо, ничто не запрещает.

Busy beaver для аргумента 6 пока не удалось вычислить даже "приближённо", известна только граница снизу.

realeugene в сообщении #1694282 писал(а):

Например, обучить нейросетку. Или мозг ребёнка. Или просто жёстко закодировать ответы чат-бота, настроенного на узкую область применения голосового меню, как это делали, когда компы были слабее

То, о чём Вы здесь говорите, всё алгоритмизируемые вещи.

[realeugene]

Ghost_of_past в сообщении #1694146 писал(а):

Как Вы собираетесь искать самосознание у чат-бота, если Вы перед этим не определили самосознание и его критерии?

"Пойди туда — не знаю куда, принеси то — не знаю что" (с) Удачных Вам тестирований с таким подходом.

Вообще-то так наука и работает. Сталкиваясь с новыми наблюдаемым явлениями приходится адаптировать модели, в том числе, подбирая новый понятийный аппарат. Это процесс итеративного изменения наших моделей.

(Оффтоп)

Если взглянуть с этой стороны, очень наивными выглядят попытки философов выделить основы.

-- 15.07.2025, 11:48 --

epros в сообщении #1694283 писал(а):

Busy beaver для аргумента 5 пока не удалось вычислить даже "приближённо", известна только граница снизу.

Так граница снизу ведь известна? Уже некоторое приближённое знание. Но точное значение скорее всего ни на что в этом мире не влияет, так что точнее и приближать не за чем.

-- 15.07.2025, 11:49 --

epros в сообщении #1694283 писал(а):

То, о чём Вы здесь говорите, всё алгоритмизируемые вещи.

Именно. Которыми приближают неалгоритмизируемые, не вычисляя их точно.

[epros]

realeugene в сообщении #1694284 писал(а):

Так граница снизу ведь известна? Уже некоторое приближённое знание. Но точное значение скорее всего ни на что в этом мире не влияет, так что точнее и приближать не за чем.

А в каком смысле Вы говорите о "приближении"? Граница снизу - этот тот результат, который показывает та машина Тьюринга, которая точно останавливается. Но есть машина Тьюринга, про которую неизвестно, останавливается ли она. Если будет доказано, что не останавливается, то предыдущий результат окажется значением функции. Если останавливается, то значение функции окажется гораздо больше предыдущего результата, что вряд ли подходит под слова про "приближение".

[Ghost_of_past]

epros в сообщении #1694279 писал(а):

то, что я имел в виду его, он распознал

И с чего бы вдруг это указывает не на специфику его обучения, а на наличие какого-то самосознания?

epros в сообщении #1694279 писал(а):

То, о чём Вы говорите, не тянет на "достаточно существенно".

То, о чём я говорю - это вообще совершенно разное обучение. Объединяет их то, что и то, и другое - обучение.

epros в сообщении #1694279 писал(а):

А Вы знаете, что значит "алгоритмизировать"?

А я не говорил, что алгоритмизация и формализация невозможны в принципе. Вот Вы когда сможете алгоритмизировать и формализовать процесс обучения маленьких детей всей социализации, то мы обязательно продолжим этот странный разговор о том, что обучение чат-ботов и младенцев существенно ничем не отличается. Не стесняйтесь совершить революцию в педагогических и образовательных науках.

epros в сообщении #1694279 писал(а):

Всё сводится к различиям в форме представления информации

Нет. Обучение детей по форме и методам также мало чем похоже на обучение чат-ботов. Или Вы сейчас расскажете, что чат-боты тоже обучаются в процессе социализации с родителями чат-ботами и чат-ботами в детском саду и на детской площадке? Или что это обучение часто происходит в различных игровых формах? Если уж у Вас чат-боты обладают самосознанием, то я бы ничему не удивился. А вообще революционные открытия про самосознание чат-ботов надо публиковать в научных рецензируемых журналах: жду Ваших сенсационных публикаций где-нибудь в Nature или Science - всё-таки открытие искусственного самосознания у технической системы новость грандиозного масштаба.

epros в сообщении #1694279 писал(а):

но ничто не мешает научить бота распознавать устную речь и изображения

Обязательно продолжим это занимательное общение, когда Ваш чат-бот научится получать вкусовые ощущения от шоколадного зайца на утреннике в детском саду.

-- 15.07.2025, 12:14 --

realeugene в сообщении #1694282 писал(а):

Возможно, для млекопитающих.

Спят даже насекомые. Собственно говоря, периодическое состояние сна примерно с этого уровня развития и возникает. Кстати, примерно как и сознание, хотя я не уверен, насколько появление первого и второго было одновременным - эту информацию надо поискать.

realeugene в сообщении #1694282 писал(а):

Видят ли сны пчёлы - вопрос наверное любопытный

И ответ на него по современным представлениям положительный.

realeugene в сообщении #1694282 писал(а):

Различие между бодрствованием и сновидением у людей

В определении ничего про людей не говорится.

-- 15.07.2025, 12:17 --

realeugene в сообщении #1694284 писал(а):

Вообще-то так наука и работает. Сталкиваясь с новыми наблюдаемым явлениями приходится адаптировать модели, в том числе, подбирая новый понятийный аппарат.

Совершенно верно: наука работает, поэтому под новые задачи либо создается новый, либо корректируется прежний дефинитивный аппарат.

[realeugene]

epros в сообщении #1694286 писал(а):

Если останавливается, то значение функции окажется гораздо больше предыдущего результата, что вряд ли подходит под слова про "приближение".

Вполне подходит. Или вы предполагаете какую-то равномерную меру на натуральных числах?

-- 15.07.2025, 12:20 --

Ghost_of_past в сообщении #1694287 писал(а):

В определении ничего про людей не говорится.

Прямо не говорится. Наличие снов у других животных - отдельный исследовательский вопрос.Так что не надо про сновидения в неантропоцентичном определении сознания.

-- 15.07.2025, 12:23 --

Ghost_of_past в сообщении #1694287 писал(а):

Спят даже насекомые.

Ну и у LLM бывают периоды дообучения. Видят ли LLM при этом сны? В общем-то лучше не углубляться в такие вещи и не определять сознание через них. Почему-то биологическому мозгу для функционирования важна цикличность. У дельфинов, если мне память не изменяет, полушария спят поочерёдно.

[Ghost_of_past]

realeugene в сообщении #1694289 писал(а):

Наличие снов у других животных - отдельный исследовательский вопрос.

Это отдельный исследовательский вопрос, на который дан вполне положительный ответ. Так что смена режимов бодрствования и сновидений вполне себе существенный критерий сознания, а для медицины и ветеринарных наук и вовсе один из важнейших. Интересны тут вовсе не насекомые, а например те же самые дельфины и другие китообразные - у них однополушарный сон, так что их смена режима бодрствования и сна будет отличаться от привычной для наземных животных.

-- 15.07.2025, 12:28 --

realeugene в сообщении #1694289 писал(а):

Видят ли LLM при этом сны?

Это вопрос интересный, но так как по ссылке на первой странице темы достаточно убедительно показано, что LLM сознанием не обладают, то вопрос пока не очень актуален. А вот будет ли какое-то состояние аналога сна важным для определения искусственного сознания - вопрос и интересный, и актуальный, но ответа на него, насколько мне известно, нет.

[realeugene]

Ghost_of_past в сообщении #1694291 писал(а):

Так что смена режимов бодрствования и сновидений вполне себе существенный критерий сознания

Критерий текущего состояни биологического мозга. Но чтобы понимать разницу между сознанием и сновидением нужно её саму определить.

[Ghost_of_past]

realeugene в сообщении #1694292 писал(а):

Критерий текущего состояни биологического мозга

Разумеется. Это определение же естественного, а не искусственного сознания. А вот как раз какие критерии переносить, как их модифицировать, какие новые критерии добавлять для искусственного сознания - это всё и есть сложнейшая задача выработки нового дефинитивного аппарата.

realeugene в сообщении #1694292 писал(а):

Но чтобы понимать разницу между сознанием и сновидением нужно её саму определить

Разница есть вполне себе как объективная (разные паттерны активности ЦНС), так и субъективно переживаемая. Хотя последнее уже скорее вопрос даже не к нейронаукам и когнитивным наукам, а к психологии.

[realeugene]

Ghost_of_past в сообщении #1694293 писал(а):

разные паттерны активности ЦНС

Эти паттерны специфичны для биологического мозга?

[Ghost_of_past]

realeugene в сообщении #1694294 писал(а):

Эти паттерны специфичны для биологического мозга?

Специфичны, но есть ли аналоги у LLM (и в перспективе у сильного ИИ) - это вопрос к специалистам по LLM и ИИ в целом. Возможно режимы активности в рекуррентных нейронных сетях или уже упомянутые "спящие" и "активные" состояния в глубоком обучении? Я лично ответа на этот вопрос не знаю.

[epros]

Ghost_of_past в сообщении #1694287 писал(а):

epros в сообщении #1694279 писал(а):

то, что я имел в виду его, он распознал

И с чего бы вдруг это указывает не на специфику его обучения, а на наличие какого-то самосознания?

Это может иметь или не иметь отношение к любой "специфике обучения" - совершенно неважно, ибо это не относится к обсуждаемому вопросу: наличия либо отсутствия самосознания.

А вот то, что способность узнавать себя и называется самосознанием (по самому смыслу этого слова) - это к обсуждаемому вопросу относится.

Ghost_of_past в сообщении #1694287 писал(а):

Вот Вы когда сможете алгоритмизировать и формализовать процесс обучения маленьких детей всей социализации, то мы обязательно продолжим этот странный разговор о том, что обучение чат-ботов и младенцев существенно ничем не отличается. Не стесняйтесь совершить революцию в педагогических и образовательных науках.

Ну вот, опять какие-то необоснованные наезды. Я не предлагал педагогических революций и не предлагал формализовать обучение людей. Скорее, дела обстоят ровно наоборот: то, что заведомо алгоритмизируемо (компьютерные программы), развивается в таком направлении, что алгоритм перестаёт прослеживаться (это я про LLM).

Ghost_of_past в сообщении #1694287 писал(а):

Или Вы сейчас расскажете, что чат-боты тоже обучаются в процессе социализации с родителями чат-ботами и чат-ботами в детском саду и на детской площадке? Или что это обучение часто происходит в различных игровых формах?

Нет, я сейчас расскажу, что детские площадки и песочницы - это несущественные атрибуты обучения. А существенные атрибуты обучения - это то, что предоставляется информация и подкрепляется её корректное усвоение. Игровая это форма или нет, это зависит от точки зрения. Но то, что в обучении LLM эти существенные атрибуты присутствуют, несомненно.

Ghost_of_past в сообщении #1694287 писал(а):

Если уж у Вас чат-боты обладают самосознанием, то я бы ничему не удивился.

А чему именно тут стоит удивляться? Если самосознание обнаруживают у муравьёв, то чем чат-боты хуже?

Ghost_of_past в сообщении #1694287 писал(а):

А вообще революционные открытия про самосознание чат-ботов надо публиковать в научных рецензируемых журналах: жду Ваших сенсационных публикаций где-нибудь в Nature или Science - всё-таки открытие искусственного самосознания у технической системы новость грандиозного масштаба.

Вы преувеличиваете. Просто Вы придаёте понятию самосознания какой-то мистический смысл, а на самом деле это всего лишь способность узнать себя. Не столь важно, в зеркале или в тексте, в котором субъект косвенно упоминается.

Ghost_of_past в сообщении #1694287 писал(а):

Обязательно продолжим это занимательное общение, когда Ваш чат-бот научится получать вкусовые ощущения от шоколадного зайца на утреннике в детском саду.

Вы так говорите, как будто:
А) Добиваться этого кому-то нужно.
Б) Это что-то принципиально недостижимое (если уж кто-то решит этого добиваться).

[Mihaylo]

Ghost_of_past в сообщении #1694287 писал(а):

Обязательно продолжим это занимательное общение, когда Ваш чат-бот научится получать вкусовые ощущения от шоколадного зайца на утреннике в детском саду.

То, что происходит или не происходит внутри чат-бота - это неважно. Важно поведение - способность словами выразить вкус. В этом нет никакой технической проблемы.

-- 15.07.2025, 13:15 --

Очень важно при этом, чтобы чат-бот осознавал, что он никогда не пробовал шоколадного зайца на утреннике, ни где ещё. Он должен понимать, что он выражает вкус словами, начитавшись об этом из различных источников. Тогда можно делать вывод, что чат-бот самосознательный.

[realeugene]

Mihaylo в сообщении #1694299 писал(а):

Важно поведение - способность словами выразить вкус. В этом нет никакой технической проблемы.

Несложно подключить к сетке хроматограф и кучу других химических детекторов. Основная сложность - свести всё многообразие химических веществ, доступных сетке, к описанию вкусов, доступных человеку, да ещё учтя динамику человеческих рецепторов со всяким там послевкусием.