Обладают ли LLM самоосознанием?

[Cantata]

realeugene в сообщении #1682115 писал(а):

когда инструкции на естественном языке из промпта принимаются абсолютно

Разве они могут приниматься не абсолютно?

[alesha_popovich]

realeugene в сообщении #1682058 писал(а):

Чем это отражение в состоянии, управляющем генерацией его текстов о своём функционировании, не есть самоосознанием?

Наверное примерно тем же, чем способность IDE открыть свой собственный код - не есть самосознание.

[Mihaylo]

Serg53 в сообщении #1682109 писал(а):

А у ИИ есть свои желания и своя инициатива?

Я всегда учитываю мощную стереотипию в сфере около интеллекта. Иногда человек "совершенно точно уверен", что должно быть в ИИ, реже - чего не должно.
Я всегда осторожно принимаю какие-то философские термины: они не нужны, если непонятны. Я пытаюсь проводить мысленные эксперименты и т.п.

Да, когда рождается ребёнок, хорошие родители хотят вырастить инициативного человека и т.п. Что они для этого делают? Да по сути ничего. Это просто пустая болтовня, инициативный ребёнок - это плохо, он будет лезть всегда не в своё дело. Хороший ребёнок - это послушный ребёнок, который проявляет инициативу только там, где нет пересечения с другими инициативами (приказами, указами, пожеланиями, просьбами). Нужно определить свой уровень (социальный, материальный, интеллектуальный) и выше планки не прыгать, если не просят. Такой человек нужен обществу.

Совершенно такая же ситуация и в случае ИИ. Он должен внять культурные и прочие ценности, и их соблюдать. А инициатива должна проявляться исключительно в пределах просьбы промпта. Они это делают отлично, не так ли?

[mihaild]

realeugene в сообщении #1682115 писал(а):

Это уже не алгоритм как набор формальных инструкций, а настройка личности, причём, видимо, в некотором "режиме бога", когда инструкции на естественном языке из промпта принимаются абсолютно

Не совсем так. Модель изначально учится на сырых текстах (потому что ничего другого в нужных объемах нет). Потом дообучается вести диалог, на специально составленной выборке, в которой есть разметка "специальными токенами" (примеры https://www.llama.com/docs/model-cards- ... a-llama-3/ https://huggingface.co/deepseek-ai/Deep ... nizer.json). И дальше инструкции и ходы модели ими помечаются. Но в принципе текстовый вход всё равно один.

[realeugene]

mihaild в сообщении #1682166 писал(а):

Но в принципе текстовый вход всё равно один.

Поток текста понятно что один. И понятно что в этом потоке должны быть как-то резмечены текста пользователя и старые ответы сетки. Но есть ещё и настроечный промпт. Тот самый, который якобы после "You are", или подобный. Помню, первые сетки ломали, задавая в качестве пользовательского ввода инструкции, противоречащие промпту разработчиков, и сетка при таком конфликте по всей видимости выбирала более поздние инструкции. Потом эту дырку прикрыли. Но чтобы закрыть эту дырку, сетка должна уметь отличать инструкции разработчиков от инструкций пользователя, приписывая инструкциям разработчика более высокий приоритет.

[mihaild]

realeugene в сообщении #1682187 писал(а):

Но чтобы закрыть эту дырку, сетка должна уметь отличать инструкции разработчиков от инструкций пользователя, приписывая инструкциям разработчика более высокий приоритет

Это делается той же разметкой (в открытых моделях, про закрытые no comments).
"Приоритета" в явном виде нет. Есть дообучение "в примерах, когда запрос пользователя противоречит system instructions, следовать последним".

[realeugene]

mihaild в сообщении #1682193 писал(а):

Это делается той же разметкой (в открытых моделях, про закрытые no comments).
"Приоритета" в явном виде нет. Есть дообучение "в примерах, когда запрос пользователя противоречит system instructions, следовать последним".

Понятно что внутри просто слои нейронов. "Следовать системным инструкциям" - это и есть приоритет. Плюс поток токенов один - системные инструкции богов должны быть отдельно помечены разметкой, чтобы сетка отличала их от запросов простых смертных и от своих же ответов. Я об этом.

Завести для ключевой разметки потока специальные токены, которые не могут появиться из пользовательского текста и в ответах системы - это очевидный ход.

[realeugene]

alesha_popovich в сообщении #1682144 писал(а):

Наверное примерно тем же, чем способность IDE открыть свой собственный код - не есть самосознание.

Непонятная аналогия. В контексте сессии совсем не код сетки, а лишь некоторое заведомо неправильное представление LLM про себя.

[alesha_popovich]

realeugene в сообщении #1682217 писал(а):

Непонятная аналогия. В контексте сессии совсем не код сетки, а лишь некоторое заведомо неправильное представление LLM про себя.

Вы же до этого наоборот говорили, что оно правильное. Или я неправильно вас понял.
А аналогия тут в том, что и IDE показывает свой собственный код, и сетка пересказывает текст про принципы работы себя, который выучила. Я бы поостерёгся такие штуки называть самосознанием.

[realeugene]

alesha_popovich в сообщении #1682231 писал(а):

А аналогия тут в том, что и IDE показывает свой собственный код, и сетка пересказывает текст про принципы работы себя, который выучила.

Сетка ещё и выводы о своих ответах делает на основании выученных принципов своей работы.

Сетка уже неплохо предсказывает поведение окружающего мира. В том числе, своё. Не всегда, но уже неплохо. Это значит, что в ходе обучения сетка построила какую-то свою обладающую предсказательной силой модель этого мира на основании обучающих текстов. В этой модели присутствует как объект и сама сетка.

[Mihaylo]

Так и есть. Понимание - это самое важное в ИИ, а (само)сознание - это всего лишь какой-то неопределённый в смысле границ частный случай. Если вы не знаете, как определить, есть ли (само)сознание, то отставьте эту проблему. У вас есть возможность оценивать понимание ИИ.

Долой лишнее и ненужное.

[Serg53]

realeugene в сообщении #1682243 писал(а):

Сетка уже неплохо предсказывает поведение окружающего мира

А какой "окружающий мир" у сетки? Мышление живых организмов происходит образами. Вербальные процессы у людей это побочный процесс образного мышления. Иногда даже бывает трудно вспомнить слово, которое соответствует тому, что намыслил, хотя образное представление результата мышления хорошо понятно.

[realeugene]

Serg53 в сообщении #1682383 писал(а):

А какой "окружающий мир" у сетки?

Такой же, как и у людей. Объективная реальность общая. И вот поведение этой реальности сетка уже неплохо предсказывает, обучившись на текстах, которые и содержат информацию об этой реальности. Зная при этом одновременно кучу языков.

-- 16.04.2025, 11:04 --

Serg53 в сообщении #1682383 писал(а):

Вербальные процессы у людей это побочный процесс образного мышления.

Вот и у сеток тоже кроме слоёв на краях, оперирующих потоками текстовых токенов, есть и глубины, в которых не до конца понятно что и как происходит. Там тоже какие-то "образы" активируются.

И, нет, вербальные процессы у людей крайне важны для коммуникации между людьми. В основном через тексты эти образы передаются из мозга одного человека в мозг другого.

[MoonWatcher]

Ghost_of_past в сообщении #1682052 писал(а):

Заодно Вам же нужно обосновать, что LLM проявляют именно самосознание, а не представляют собой частный случай китайской комнаты.

Не представляют: Китайская комната оперирует невесть откуда взявшимися карточками для ответов на незнакомом языке - LLM создают эти карточки сами. Но это к вопросу о понимании, а не сознании. Что касается сознания, то ИМХО оно основано на ощущениях и чувствах. В сугубо когнитивном отношении сознание у LLM некоторые специалисты опровергают тем, что описанный ими ход рассуждений не соответствует фактическому. Хотя ИМХО это свойственно и людям, когда они пытаются объяснить свою интуитивную догадку.

[Serg53]

realeugene в сообщении #1682391 писал(а):

поведение этой реальности сетка уже неплохо предсказывает, обучившись на текстах, которые и содержат информацию об этой реальности. Зная при этом одновременно кучу языков.

Может ли ИИ быть квалифицированным переводчиком? Качество электронного перевода проверяется следующим образом. Берётся исходный текст для перевода. Нам, например, удобнее взять исходный текст на русском языке. Предлагают ИИ перевести этот текст на английский. Затем результат перевода предлагают ИИ перевести опять на русский. Исходный текст на русском языке сравнивается с результатом двойного перевода. Существенных различий быть не должно. Исходный текст можно взять либо общеразговорный, либо специализированный.