Обладают ли LLM самоосознанием?

[Ghost_of_past]

epros в сообщении #1694316 писал(а):

Китайская комната - очередная философская чушь.

Реализация китайской комнаты как раз прекрасно иллюстрируется чат-ботами - отвечать они отвечают, а осмысленного осознавания ответа нет.

realeugene в сообщении #1694317 писал(а):

Так LLM прекрасно описывает эмоции в тексте.

Чужие эмоции в тексте. Ну так и даже куда более простые модели при онлайн-панелях умеют проводить разнообразные анализы настроений, включая анализ тональности/сентимент-анализ. Ведь и статистические модели и скрипт инструментов онлайн-панели от этого сознанием обладать не стали.

-- 15.07.2025, 14:34 --

epros в сообщении #1694319 писал(а):

А Вы занимаетесь тем, что выдаёте за "общепринятую терминологию" всякую философскую чушь

Кто Вам виноват, что Вам везде мерещится какая-то философия (если что, то критерии самосознания я перечислял из монографии по психологии сознания), да еще этим Вы оправдываете употребление терминологии не в общепринятых семантических значениях?

epros в сообщении #1694319 писал(а):

на основании того, что он этой чуши не принимает

Хотите спорить с монографиями по психологии сознания - спорьте сколько угодно. Как я и сказал, кто-то, вон, и в плоскую Землю верит и искренне считает, что все несогласные с этой фигней "выдают всякую философскую географическую чушь".

[realeugene]

Ghost_of_past в сообщении #1694311 писал(а):

Таким образом, у детей есть как осознаваемое, так и неосознаваемое обучение. Для машинного обучения на текущем уровне развития сознания не требуется.

Ну да, детям важнее начинать с обучения физическому взаимодействию с окружающими предметами, чем языку. Но при этом обучение качественно одно и то же: построение генерализирующих моделей в мозгу. Было бы странно, если бы было иначе: математика машинного обучения развита из идеи аппроксимации сложных нелинейных функций, про которые известны только отдельные выборки, более простыми. Это очень общий контекст.

-- 15.07.2025, 14:37 --

Ghost_of_past в сообщении #1694320 писал(а):

Реализация китайской комнаты как раз прекрасно иллюстрируется чат-ботами - отвечать они отвечают, а осмысленного осознавания ответа нет.

Как она иллюстрируется и многими людьми. "Осмысленное осознавание" означает только что ошибки, которые делает осмысленно осознающий человек, нетривиальны.

-- 15.07.2025, 14:40 --

Ghost_of_past в сообщении #1694320 писал(а):

Чужие эмоции в тексте.

В смысле "чужие"? Эмоциональная окраска - это просто модальность текста. Буквы сами по себе ни логичны, ни эмоциональны. Но текст переносит логические утверждения, и текст переносит эмоции. Раньше текст это переносил только между людьми, теперь и между человеком и машиной. Полностью сгенерированный ботом текст оказывает эмоциональное воздействие на человека.

-- 15.07.2025, 14:42 --

Ghost_of_past в сообщении #1694320 писал(а):

Ну так и даже куда более простые модели при онлайн-панелях умеют проводить разнообразные анализы настроений, включая анализ тональности/сентимент-анализ.

Именно. В эмоциях нет ничего нетривиального. Это просто уровень более примитивного и древнего мышления человека.

[Ghost_of_past]

realeugene в сообщении #1694321 писал(а):

Но при этом обучение качественно одно и то же: построение генерализирующих моделей в мозгу

Смотря как широко понимать построение моделей. Например, классически в психофизиологии считается, что обучение через накопление опыта и формирование психофизиологических стереотипов в построении генерализирующих моделей не нуждается.

realeugene в сообщении #1694321 писал(а):

Как она иллюстрируется и многими людьми.

Конечно, у людей и вообще у животных есть автоматические мысли и неосознаваемо автоматическое поведение, которые тоже проходят со сниженным уровнем осознанности: ведь сознание как одна из высших психических деятельностей крайне энергозатратный процесс, так что когда есть возможность, то сознание работает на минимуме.

-- 15.07.2025, 14:46 --

realeugene в сообщении #1694321 писал(а):

Эмоциональная окраска - это просто модальность текста

С точки зрения объективно обнаруживаемых эффектов, но не с точки зрения субъекта, который вносит свои эмоции в этот текст.

realeugene в сообщении #1694321 писал(а):

В эмоциях нет ничего нетривиального

Да, только у LLM никаких эмоций нет. LLM умеет анализировать эмоции, а не является их субъектом.

[realeugene]

Ghost_of_past в сообщении #1694322 писал(а):

Например, классически в психофизиологии считается, что обучение через накопление опыта и формирование психофизиологических стереотипов в построении генерализирующих моделей не нуждается.

Такое мнение выглядит очень странно, потому что без генерализации вы можете как-то реагировать только на те воздействия, которые вам предъявлялись ранее. Как СУБД. Но в психологии точное повторение воздействий невозможно.

-- 15.07.2025, 15:11 --

Ghost_of_past в сообщении #1694322 писал(а):

С точки зрения объективно обнаруживаемых эффектов, но не с точки зрения субъекта, который вносит свои эмоции в этот текст.

Или вносит, или воспринимает. Ваше определение антропоцентрично, более того, сколько людей - столько и различных эмоций. При этом эмоции объективно присутствуют в тексте в виде его эмоциональной окраски, способной вызывать те или иные эмоции в читателях.

-- 15.07.2025, 15:14 --

Ghost_of_past в сообщении #1694322 писал(а):

Да, только у LLM никаких эмоций нет. LLM умеет анализировать эмоции, а не является их субъектом.

Это смотря как определить "быть субъектом эмоций". У контекста LLM есть эмоциональное состояние.

[epros]

Ghost_of_past в сообщении #1694320 писал(а):

epros в сообщении #1694316 писал(а):

Китайская комната - очередная философская чушь.

Реализация китайской комнаты как раз прекрасно иллюстрируется чат-ботами - отвечать они отвечают, а осмысленного осознавания ответа нет.

Ещё бы она не иллюстрировалась, если там прямо сказано, что ответы даются в соответствии с инструкцией или, что то же самое, по алгоритму. И что? Это как-то доказывает, что алгоритм не может давать осмысленных ответов? Да ничего подобного. Эту инструкцию может на ходу писать настоящий живой китаец, который при ответе на вопросы излагает своё реальное мнение. Это что-то меняет? Да ничего. Этот мысленный эксперимент демонстрирует только одно: живой человек, не знающий китайского языка, может действовать по инструкции.

[Ghost_of_past]

realeugene в сообщении #1694325 писал(а):

Но в психологии точное повторение воздействий невозможно.

Не совсем понятно, что подразумевается под "точное повторение". Если о тексте выше, то речь шла прежде всего про условные рефлексы и имплицитное научение - насколько эти примеры можно или нельзя считать построением моделей зависит от широты лексического значения, которое мы заложим в понятие "построение модели".

realeugene в сообщении #1694325 писал(а):

Ваше определение антропоцентрично

Не антропоцентрично, но предполагает психическую систему с эмоциями как у живых организмов, т.е. субъективным переживанием эмоций или их прямых аналогов, а иначе возникает проблема неопределенности того, что считать эмоциями с точки зрения субъективного переживания. Но я сомневаюсь, что сильный ИИ с искусственным сознанием и самосознанием обязан иметь эмоции или их аналоги.

realeugene в сообщении #1694325 писал(а):

У контекста LLM есть эмоциональное состояние

Контекст есть, но есть ли переживания от первого лица? И более того, а нужны ли они им или вовсе нет?

epros в сообщении #1694328 писал(а):

Это как-то доказывает, что алгоритм не может давать осмысленных ответов?

Доказывать, что алгоритм может давать осмысленные осознаваемые ответы в данном случае должны те, кто считают, что сознание и самосознание у чат-ботов есть. Такова логика бремени доказывания. А иначе можно предположить наличие сознания и самосознания у каждого встречного кирпича или даже у каждой элементарной частицы как это делают панпсихисты, наплодив множество избыточных сущностей.

[realeugene]

Ghost_of_past в сообщении #1694330 писал(а):

Если о тексте выше, то речь шла прежде всего про условные рефлексы и имплицитное научение - насколько эти примеры можно или нельзя считать построением моделей зависит от широты лексического значения, которое мы заложением в понятие "построение модели".

Рефлекс - это тоже реакция на окружающий мир. Или наученный, или выработанный эволюционно в ходе естественного отбора и заложенный генетически. Если "примерно при таком воздействии реагировать так-то, а примерно при таком - так-то", то тут уже нужна генерализация. Подобные реакции скорее всего оказались в прошлом полезными, а воздействия, имеющие непрерывный спектр параметров, не могут повторяться в точности, как они были при обучении.

-- 15.07.2025, 17:03 --

Ghost_of_past в сообщении #1694330 писал(а):

Контекст есть, но есть ли переживания от первого лица? И более того, а нужны ли они им или вовсе нет?

Вы пытаетесь натянуть модель человека. В чём разница? В том, что переживающий сильные эмоции от первого лица теряет способность рассуждать логично? С сетками похоже это так же. Как оказалось, даже неожиданные фразы в вопросе могут сильно ухудшить точность ответа. Видимо, рассеивается внимание.

[Ghost_of_past]

realeugene в сообщении #1694331 писал(а):

Рефлекс - это тоже реакция на окружающий мир.

Реакция, это безусловно так. Генерализация до определенной степени тоже есть. Вот до какой степени есть модель - не знаю. Но это уже скорее чисто терминологическая дискуссия.

realeugene в сообщении #1694331 писал(а):

Вы пытаетесь натянуть модель человека.

Не модель человека, но модель самосознания как феноменальной Я-модели с субъективным переживанием от первого лица - ту самую, что описывал Метцингер в своих работах. Думаю, что Вам как стороннику модельного подхода это как раз методологически близко, а там по ссылке в книжке как раз даются ответы с такой модельной точки зрения на базовые вопросы:

Томас Метцингер. Быть никем. Теория самомоделирования субъективности. писал(а):

В этом разделе я хочу разработать небольшой и лаконичный набор вопросов, чтобы провести нас через сложный теоретический ландшафт, связанный с феноменом субъективного опыта. Я обещаю, что в заключительной главе этой книги я вернусь к каждому из этих вопросов, дав на каждый из них краткие, сжатые ответы. Более пространные ответы, однако, можно найти только в средних главах этой книги. Эта книга написана для читателей, и одна из функций приведенного ниже минимального каталога философских проблем состоит в том, чтобы повысить удобство ее использования. Однако этот небольшой контрольный список мог бы также служить отправной точкой для минимального набора критериев оценки текущего состояния конкурирующих подходов, включая представленный здесь. На сколько из этих вопросов он может удовлетворительно ответить? Давайте рассмотрим их. Первая, и основная, группа вопросов касается смысла некоторых объяснительных базовых понятий, уже представленных выше:

Что значит сказать о психическом состоянии, что оно осознанно?

Или, наоборот, что значит для сознательной системы - человека, биологического организма или искусственной системы - сказать, что она сознательна?

Что значит сказать о ментальном состоянии, что оно является частью самосознания данной системы?

Что значит для любой сознательной системы обладать феноменальным "я"?

Что значит сказать о психическом состоянии, что оно является субъективным состоянием?

Что значит говорить о целых системах как о "субъектах опыта"?

Что такое, например, феноменальная перспектива первого лица, в отличие от лингвистической, когнитивной или эпистемической перспективы первого лица? Существует ли что-то вроде аперспективного сознания или даже самосознания?

Далее следует ряд вопросов, касающихся онтологических, логико-семантических и эпистемологических проблем. Они не являются предметом данного исследования, но имеют большое значение для общей картины, которая в конечном итоге может возникнуть в результате создания эмпирически обоснованной философской теории самосознания.

Является ли понятие "субъект" логически примитивным? Должно ли его существование предполагаться априори? Онтологически говоря, относится ли то, что мы называем "субъектом", к основным составляющим реальности, или это сущность, которая в принципе может быть устранена в ходе научного прогресса?

В частности, семантика индексального слова I нуждается в дальнейшем прояснении. Необходимо лучше понять определенный класс предложений, а именно те, в которых слово I используется в автофеноменологическом самоописании феноменальных свойств (как в "Я чувствую зубную боль прямо сейчас").

Каковы условия истинности для предложений такого типа?

Не оставит ли устранение субъектного употребления I пробел в нашем понимании самих себя?

Является ли субъективность эпистемическим отношением? Обладают ли феноменальные состояния истинностными значениями? Предоставляют ли сознание, феноменальное "я" и перспектива первого лица особый вид информации или знания, которые нельзя получить никакими другими способами?

Означает ли неисправимость самоописаний психологических свойств их непогрешимость?

Существуют ли какие-либо неустранимые факты, касающиеся субъективности ментальных состояний, которые могут быть постигнуты только в феноменальной перспективе первого лица или выражены только в первом лице единственного числа?

Можно ли вывести из субъективности психического тезис о том, что научное мировоззрение в принципе должно оставаться неполным? Можно ли натурализовать субъективность во всем ее содержании?

Существует ли что-то похожее на "данные от первого лица"? Могут ли интроспективные отчеты конкурировать с утверждениями, вытекающими из научных теорий разума?

Однако истинным фокусом данного предложения является феноменальное содержание, то, как определенные репрезентативные состояния ощущаются с точки зрения первого лица. Особенно важны попытки пролить свет на исторические корни некоторых философских интуиций, таких как, например, картезианская интуиция, что я всегда мог быть кем-то другим; или что мое собственное сознание обязательно образует единое целое; или что феноменальный опыт действительно приводит нас в прямой и непосредственный контакт с собой и окружающим миром. Философские проблемы часто могут быть решены путем концептуального анализа или преобразования их в более дифференцированные версии. Однако дополнительная и интересная стратегия заключается в попытке раскрыть их интроспективные корни. Внимательное изучение этих корней может помочь нам понять интуитивную силу, стоящую за многими плохими аргументами, силу, которая обычно выживает после их опровержения. Поэтому я дополню свое рассуждение более пристальным взглядом на генетические условия некоторых интроспективных уверенностей.

Что такое "феноменальное содержание" ментальных состояний, в отличие от их репрезентативного или "интенционального содержания"? Существуют ли примеры психики, демонстрирующей одно без другого? Существуют ли двойные диссоциации?

Как возникают картезианские интуиции, такие как интуиция случайности, интуиция неделимости или интуиция эпистемической непосредственности?

Пожалуй, человеческая разновидность сознательной субъективности уникальна на нашей планете, а именно: она культурно встроена, допускает не только интроспективный, но и лингвистический доступ, а также то, что содержание наших феноменальных состояний может стать объектом исключительно внутренней когнитивной самореференции. В частности, оно составляет основу интерсубъективных достижений. Интересен вопрос о том, как изменяется реальное содержание опыта в результате этой постоянной интеграции в другие репрезентативные средства и как конкретное содержание может генетически зависеть от социальных факторов.

Какие новые феноменальные свойства возникают благодаря когнитивным и лингвистическим формам самореференции? Существуют ли у людей необходимые социальные корреляты для определенных видов феноменального содержания?

Последний набор феноменологических вопросов касается внутренней сети отношений между определенными классами феноменальных состояний или глобальными феноменальными свойствами. Вот краткая подборка:

Какова наиболее простая форма феноменального содержания? Есть ли что-то похожее на "qualia" в классическом понимании этого слова?

Каков минимальный набор ограничений, которые должны быть соблюдены, чтобы сознательный опыт вообще возник? Например, может ли квалиа существовать без глобального свойства сознания или мыслима ли форма сознания без квалиа?

Что такое феноменальная самость? Что такое неконцептуальное чувство собственности, которое сопровождает феноменальный опыт самости или "быть кем-то"?

Как опыт агентства связан с опытом владения? Можно ли разделить обе формы феноменального содержания?

Может ли феноменальная самость быть инстанцирована без qualia? Необходимо ли воплощение для самости?

Что такое феноменально представленная перспектива первого лица? Как она связана с другими понятиями перспективности, например, с логической или эпистемической субъективностью?

Можно ли иметь сознательную перспективу от первого лица, не имея сознательного "я"? Можно ли иметь осознанное "я", не имея осознанной перспективы первого лица?

Каким образом феноменальная перспектива первого лица способствует появлению перспективы второго лица и возникновению множественной перспективы первого лица? Какие формы социального познания неизбежно опосредованы феноменальным самосознанием? Какие нет?

Наконец, последний вопрос касается статуса феноменальных универсалий: Можем ли мы определить понятие сознания и субъективности, которое не зависит от аппаратуры и вида? Этот вопрос представляет собой попытку дать анализ сознания, феноменальной самости и перспективы первого лица, который оперирует исключительно репрезентативным и функциональным уровнями описания, стремясь освободиться от любой физической специфики. Может ли существовать универсальная теория сознания? Другими словами:

Возможна ли искусственная субъективность? Могут ли существовать небиологические феноменальные "я"?

realeugene в сообщении #1694331 писал(а):

В том, что переживающий сильные эмоции от первого лица теряет способность рассуждать логично?

Скорее в том, что переживание эмоций от первого лица и нахождение эмоциональных паттернов объективными рациональными методами - сильно разный опыт и задачи.

[realeugene]

Ghost_of_past в сообщении #1694332 писал(а):

умаю, что Вам как стороннику модельного подхода это как раз методологически близко, а там по ссылке в книжке как раз даются ответы с такой модельной точки зрения на базовые вопросы:

Мне подобная литература представляется абсолютно бессмысленной, так как в ней автор много жонглирует сложными плохо определёнными понятиями, как бы что-то доказывая, но без чёткого доказательства корректности каждого перехода вероятность не ошибиться в достаточно длинном тексте стремится к нулю.

[Ghost_of_past]

realeugene в сообщении #1694335 писал(а):

в ней автор много жонглирует сложными плохо определёнными понятиями

Автор как раз очень скрупулезно очерчивает каждое понятие. Впрочем, мое дело только предложить.

[Mihaylo]

realeugene в сообщении #1694300 писал(а):

Несложно подключить к сетке хроматограф и кучу других химических детекторов. Основная сложность - свести всё многообразие химических веществ, доступных сетке, к описанию вкусов, доступных человеку, да ещё учтя динамику человеческих рецепторов со всяким там послевкусием.

В этом случае чат-бот перестаёт быть чат-ботом. Чтобы остаться на уровне чат-бота, следует говорить только о чтении и генерации текста. И никаких проблем нет здесь. Бихевиоризм (точнее системный подход) прекрасно справляется. "Если крякает и плавает, значит утка".

Ghost_of_past в сообщении #1694301 писал(а):

Узнавание себя - это не самосознание, а лишь один из критериев самосознания.

Узнавание себя + узнавание своих результатов труда, последствий своих действий и прочие собственные артефакты + адекватное реагирование на это всё - это полный и достаточный список. Никакие критерии больше не требуются.

Ghost_of_past в сообщении #1694303 писал(а):

Важно то, что у ребенка при обучении количество типов информации для обработки и анализаторов для них существенно больше, чем у чат-бота. Много Вы знаете чат-ботов мобильных операторов, способных обрабатывать вкусовую или тактильную информацию?

Количество разных видов рецепторов - это не показатель. Человек имеет глаза (зрение), но не видит в своём глазу бревно. Это из известной пословицы взято - это не просто так. Помимо наличия рецепторов нужно иметь способность адекватно обработать входящую информацию.

Поэтому современные чат-боты (=LLM) намного умнее детишек и даже студентов. Несмотря на малое количество рецепторов.

Ghost_of_past в сообщении #1694320 писал(а):

Реализация китайской комнаты как раз прекрасно иллюстрируется чат-ботами - отвечать они отвечают, а осмысленного осознавания ответа нет.

Из-за малого количества рецепторов у LLM был риск остаться за бортом. Но весь мир и в том числе меня удивила возможность познать что угодно через тексты. Не удивляет, что LLM могут скомпилировать описание вкуса шоколадного зайца. Но удивляет, что они понимают, что шоколадного зайца они никогда не ели, а описание просто где-то прочли. Всё элементарно - их просто взяли и научили тому, что представляют они сами и какие результаты после себя оставляют.
В итоге - самосознание они имеют, это просто без сомнения.

[Ghost_of_past]

Mihaylo в сообщении #1694337 писал(а):

Никакие критерии больше не требуются

Вам не требуется и ок. Проводите тесты по этим критериям и публикуйте результаты в рецензируемых научных журналах. С удовольствием потом прочту. Удачи.

[Mihaylo]

Ghost_of_past в сообщении #1694340 писал(а):

Вам не требуется и ок. Проводите тесты по этим критериям и публикуйте результаты в рецензируемых научных журналах. С удовольствием потом прочту. Удачи.

Сперва я опубликую что-нибудь дельное, а не опровержение "многогранных" философских концепций, тех, которые не дают никакого практического результата. Я-то вам реальные вопросы-ответа теста на самосознание демонстрировал (в этой теме где-то в середине). И LLM держится крепко. Вы читали эту мою серию?

[Ghost_of_past]

Mihaylo в сообщении #1694342 писал(а):

Сперва я опубликую что-нибудь дельное

Публикуйте что хотите. Удачи.

[Mihaylo]

Ghost_of_past в сообщении #1694343 писал(а):

Публикуйте что хотите. Удачи.

Поскольку оппонент сдался, есть желающие порезаться в сознание со мной?)