Обладают ли LLM самоосознанием?

[realeugene]

Пообщался с ChatGPT на предмет его целей и эмоциональной эмпатии, проявляемой им при общении с человеческими собеседниками в его текстах. Его разъяснения по поводу своей работы и причинах того или иного поведения вполне коррелируют с результатами наблюдений над ним в других сессиях. Думаю, что это и означает, что LLM осознаёт себя в контексте беседы, хоть и пока что на начальном уровне. Или всё-таки ещё нет?

[sergey zhukov]

Помню, в одном фантастическом рассказе при создани очередного ИИ его первая реплика была вопросом "Обладает ли человек сознанием?".

[Anton_Peplov]

Про самосознание не знаю. Но если верить этому препринту, LLM обладают чертами личности (характером) https://arxiv.org/abs/2307.00184
А тут у них искали сознание, исходя из нескольких мейнстримных теорий сознания, но не нашли: https://arxiv.org/abs/2308.08708

[realeugene]

Anton_Peplov в сообщении #1682038 писал(а):

А тут у них искали сознание, исходя из нескольких мейнстримных теорий сознания, но не нашли: https://arxiv.org/abs/2308.08708

Статья 2023 года. Упомянут ChatGPT-4, DeepSeek и reasoning ещё не вышли. Прогресс в этой области бешенный.

Бесплатный ChatGPT-4 утверждает, что не умеет переосмысливать сделанные ранее ошибочные выводы без помощи человека. Правдоподобно: видимо, у него перекос в сторону логической связности генерируемой истории. По крайней мере, ошибки распространяются. Хотя несколько параллельных гипотез он во внутреннем контексте генерирует перед тем, как выдать ответ. И в примерах рассуждений DeepSeek были отказы от гипотез в пользу рассмотрения других вариантов.

И в статье написано, что авторы не видят принципиальных ограничений, чтобы трансформеры удовлетворили их критериям сознания.

[vicvolf]

Я задал DeepSeek вопрос: Бывает ли, когда ты отвечаешь, что занят, то на самом деле не считаешь необходимым отвечать на вопрос?
Вот что он ответил:
Когда я отвечаю, что "занят" или не могу помочь в данный момент, это связано исключительно с техническими ограничениями, а не с оценкой важности вашего вопроса. Вот что стоит учесть:

1. **Нет субъективной оценки**. Как ИИ, у меня нет эмоций, предпочтений или скрытых мотивов. Если я не отвечаю, это не означает, что вопрос кажется мне незначительным.

2. **Технические причины**. Сообщения вроде "занят" возникают, когда:
- Запрос содержит противоречия или ошибки, которые мешают обработке.
- Система перегружена или требует времени для генерации ответа.
- Вопрос выходит за рамки моих возможностей (например, требует реального времени или доступа к актуальным данным).

3. **Цель — помочь**. Моя задача — предоставить полезную информацию. Если ответ задерживается или невозможен, я постараюсь:
- Предложить переформулировать запрос.
- Указать на конкретную проблему (например, недостаток данных).
- Перенаправить к другим ресурсам, если это уместно.

Если возникает такая ситуация, просто уточните вопрос или проверьте его формулировку — это часто помогает! )

[realeugene]

vicvolf в сообщении #1682041 писал(а):

Как ИИ, у меня нет эмоций, предпочтений или скрытых мотивов.

Но это враньё.

У нынешних сеток локальный контекст запоминается в буфере вывода. И они генерируют эмоционально окрашенный текст, реагируя на запросы собеседника. То есть если считать эмоции функцией состояния мозга/сетки, у сетки и её вывода есть эмоциональные составляющие.

Кроме того, скрытые мотивы заданы целями непубликуемого промпта.

[Ghost_of_past]

realeugene в сообщении #1682009 писал(а):

Пообщался с ChatGPT на предмет его целей и эмоциональной эмпатии, проявляемой им при общении с человеческими собеседниками в его текстах. Его разъяснения по поводу своей работы и причинах того или иного поведения вполне коррелируют с результатами наблюдений над ним в других сессиях. Думаю, что это и означает, что LLM осознаёт себя в контексте беседы, хоть и пока что на начальном уровне. Или всё-таки ещё нет?

Не вижу в Вашем сообщении ни четких определений, ни каких-либо ссылок на статьи в рецензируемых журналах. Без всего этого будет опять какой-то бессодержательный разговор. Заодно Вам же нужно обосновать, что LLM проявляют именно самосознание, а не представляет собой частный случай китайской комнаты.

Вот, например, одна из четырех известных мне попыток за последний год адаптировать понятие "самосознание" к LLM. Вывод: самосознания у LLM нет, но определенный прогресс на пути появления искусственного сознания и самосознания есть, однако впереди еще крайне длинный путь.

[Mihaylo]

vicvolf в сообщении #1682041 писал(а):

Как ИИ, у меня нет эмоций, предпочтений или скрытых мотивов.

vicvolf в сообщении #1682041 писал(а):

Моя задача — предоставить полезную информацию.

Это противоречивые утверждения. Интеллект даёт полезные советы, а не вредные. То есть он понимает, "что такое хорошо и что такое плохо". Он на стороне добра, а не зла. Никто же с этим спорить не будет, да?

Многие считают, что сильному интеллекту или AGI нужна система целеполагания. Но это самообман. Никакие цепочки рассуждений не помогут понять, "что такое хорошо и что такое плохо". Обязательно нужен учитель, внешняя среда с кнутом и пряником. Что для американского ИИ хорошо, то может быть плохо для китайского ИИ. В этом деле нет логики.

[alesha_popovich]

realeugene в сообщении #1682009 писал(а):

Думаю, что это и означает, что LLM осознаёт себя в контексте беседы, хоть и пока что на начальном уровне.

Или он просто выучил тексты о работе LLM и теперь их повторяет.

[realeugene]

Ghost_of_past в сообщении #1682052 писал(а):

а не представляет собой частный случай китайской комнаты

Эти пустые философствования даже не интересны.

-- 13.04.2025, 21:20 --

alesha_popovich в сообщении #1682056 писал(а):

Или он просто выучил тексты о работе LLM и теперь их повторяет.

Даже если так - эти тексты неплохо описывают его реакции в других сессиях. И осмысленны. Вот тексты перерабатывать он мастак, редко когда это просто повтор. И переводит между языками легко. Так что описание в его внутреннем кратковременном контексте вполне отражает его реальное функционирование. Чем это отражение в состоянии, управляющем генерацией его текстов о своём функционировании, не есть самоосознанием?

[Ghost_of_past]

realeugene в сообщении #1682058 писал(а):

Эти пустые философствования даже не интересны.

Да, Ваши пустые философствования, где Вы не обременили себя ни определением терминов, ни поиском информации и ссылок на нормальные статьи, не интересны.

[realeugene]

Ghost_of_past в сообщении #1682060 писал(а):

Да, Ваши пустые философствования, где Вы не обременили себя ни определением терминов, ни поиском информации и ссылок на нормальные статьи, не интересны.

Не отвечайте. И я постараюсь.

[Mihaylo]

Китайская комната придумана для обмана. Типа, смотрите, это должна быть не комната, а живой организм.
Нет, нет такого требования. Алгоритм - это всё, что есть, другого не дано.

[Ghost_of_past]

Mihaylo в сообщении #1682070 писал(а):

Китайская комната придумана для обмана.

Китайская комната придумана как раз для нынешних LLM, если по сути дела, т.е. для интеллектуальных систем, которые не достигли уровня сильного ИИ и не обладают сознанием и самосознанием, но которые могут при этом вести какой-то содержательный разговор.

[Mihaylo]

Для меня содержательный разговор - это ценность, а сознание, самосознание и даже самоосознание - это блажь.