Обладают ли LLM самоосознанием?

[mihaild]

Serg53 в сообщении #1682605 писал(а):

Существенных различий быть не должно

Вот в этом проблема способа проверки - кто проверяет существенность различий?

[realeugene]

Serg53 в сообщении #1682605 писал(а):

Может ли ИИ быть квалифицированным переводчиком?

Не забывайте, что и человеческие переводчики специализируются в определённых темах, иначе результат может получиться некачественным. В целом я более чем удовлетворён переводом ИИ. Хотя если просить ChatGPT растолковать нюансы русских выражений, он нередко показывает их непонимание уровня неносителя.

[Ghost_of_past]

MoonWatcher в сообщении #1682429 писал(а):

LLM создают эти карточки сами

Нет, ничего подобного. LLM не создает карточки, а обучается на корпусах текстов и слов. Так как обычно это корпусы любых текстов из Интернета, то отсюда возникает, кстати, совершенно прикладная проблема низкого качества ответов на специализированные вопросы - например, мне ни одна LLM не сумела правильно ответить на узкоспециализированные вопросы по демографии, по которым нельзя легко найти информацию в Интернете.

MoonWatcher в сообщении #1682429 писал(а):

Что касается сознания, то ИМХО оно основано на ощущениях и чувствах.

Нет, сознание не основано на ощущениях и чувствах - ощущения и чувства только некоторые из психических функций, поставляющие данные для сознания как интегративной психической функции.

[MoonWatcher]

Ghost_of_past в сообщении #1682651 писал(а):

Нет, ничего подобного. LLM не создает карточки, а обучается на корпусах текстов и слов.

Звучит как оксюморон. Обучение на корпусах текстов и слов - это и есть создание карточек, применительно к LLM. В мысленном эксперименте "Китайская комната" участник эксперимента пользуется ЧУЖИМИ карточками, понимаете? А LLM сама находит статистическую закономерность, на основе которой предсказывает следующие токены - что некоторыми специалистами (включая Джеффри Хинтона) расценивается как понимание.

Ghost_of_past в сообщении #1682651 писал(а):

Так как обычно это корпусы любых текстов из Интернета, то отсюда возникает, кстати, совершенно прикладная проблема низкого качества ответов на специализированные вопросы - например, мне ни одна LLM не сумела правильно ответить на узкоспециализированные вопросы по демографии, по которым нельзя легко найти информацию в Интернете.

То же самое можно сказать про человека: его знания в этой области носят исключительно книжный характер, и если нет книг, то нет и знаний. Если же вы подразумеваете неспособность LLM извлечь из общих знаний какую-то новую информацию, то вообще говоря это спорное утверждение - после того как им прикрутили reasoning, они неплохо справляются даже c нетривиальными задачами (математические олимпиады и т.д.) Конечно, там все далеко не идеально, и главная проблема в другом - галлюцинации. Но динамика прогресса дает основания для осторожного оптимизма.

Ghost_of_past в сообщении #1682651 писал(а):

Нет, сознание не основано на ощущениях и чувствах - ощущения и чувства только некоторые из психических функций, поставляющие данные для сознания как интегративной психической функции.

Вероятно это зависит от определения - что такое сознание. Я говорю о том, что есть у крыс, собак, обезьян, например. Когда больно, голодно, холодно, страшно, обидно, приятно и т.д - и вся это совокупность ощущений и чувство образует квалиа и "осознание" (не знаю как еще назвать) своей субъектности, отдельности от окружающего мира. Наше сознание я понимаю как вполне животное, с интеллектуальной надстройкой, которая позволяет думать о себе и своем месте в мире. Возможно ИИ придет к этой способности и без ощущений с чувствами - однозначного ответа на этот вопрос нет.

[mihaild]

MoonWatcher в сообщении #1682697 писал(а):

В мысленном эксперименте "Китайская комната" участник эксперимента пользуется ЧУЖИМИ карточками, понимаете?

А в обучении LLM она пользуется чужими текстами и структурой весов. Которые по сути тоже являются такими карточками, только более хитрыми.

Впрочем человек тоже так описывается, так что идея Сёрла ИМХО скорее демонстрирует неприменимость понятия понимания к достаточно сильно отличающимся от человека системам, чем что-то фундаментальное про человека.

[MoonWatcher]

mihaild в сообщении #1682698 писал(а):

Впрочем человек тоже так описывается

В смысле обучается?

[mihaild]

MoonWatcher в сообщении #1682700 писал(а):

В смысле обучается?

В смысле человека можно так описать: он потребляет информацию снаружи и по каким-то алгоритмам ее преобразует. Врожденного знания китайского или демографических уравнений ни у кого нет.

[MoonWatcher]

mihaild
Вот именно. Поэтому Китайская комната, где на участника эксперимента откуда-то упали карточки соответствия нужных ответов заданным вопросам, аналогом LLM никак не является.

[mihaild]

MoonWatcher в сообщении #1682703 писал(а):

Поэтому Китайская комната, где на участника эксперимента откуда-то упали карточки соответствия нужных ответов заданным вопросам

Карточки в китайской комнате не обязаны иметь вид "список вопросов и для каждого ответ". Никто не запрещает на них написать "выпишите триллион чисел, пройдитесь по текстам, обновляйте числа по вот таким правилам".

[Ghost_of_past]

MoonWatcher в сообщении #1682697 писал(а):

В мысленном эксперименте "Китайская комната" участник эксперимента пользуется ЧУЖИМИ карточками, понимаете?

А LLM учится на чужих текстах, понимаете?

MoonWatcher в сообщении #1682697 писал(а):

То же самое можно сказать про человека

Нельзя, покуда на мои вопросы по демографии LLM ответить не могут. Впрочем, проблема не только в том, что они каких-то текстов не знают, но и в том, что додуматься до правильного ответа они тоже не могут.

MoonWatcher в сообщении #1682697 писал(а):

Я говорю о том, что есть у крыс, собак, обезьян, например.

И я в том числе об их сознании говорил - сознание требует не только ощущений и чувств.

MoonWatcher в сообщении #1682697 писал(а):

и чувство образует квалиа и "осознание"

Я ни про какое квалиа речи не вел.

[mihaild]

Ghost_of_past в сообщении #1682718 писал(а):

А LLM учится на чужих текстах, понимаете?

А человек напрямую на божественном откровении?

Ghost_of_past в сообщении #1682718 писал(а):

Нельзя, покуда на мои вопросы по демографии LLM ответить не могут. Впрочем, проблема не только в том, что они каких-то текстов не знают, но и в том, что додуматься до правильного ответа они тоже не могут.

Как и большая часть людей. Какое это отношение имеет к "самосознанию", чем бы оно ни было?

[Ghost_of_past]

mihaild в сообщении #1682723 писал(а):

А человек напрямую на божественном откровении?

А человек умеет получать знания неязыковыми способами, а потом их вербализировать. Собственно говоря, поэтому LLM - это ни разу не сильный ИИ, а все еще только промежуточный шаг к нему, хоть и важный.

mihaild в сообщении #1682723 писал(а):

Какое это отношение имеет к "самосознанию", чем бы оно ни было?

Никакого. Это имеет отношение к сильному ИИ, но не к самосознанию. Единственный источник в теме, который бы вообще касался именно вопроса самосознания - это статья, на которую я ссылался в начале темы. И там авторы хотя бы пробовали относительно четко операционализировать самое понятие "самосознание" для ИИ.

[MoonWatcher]

mihaild в сообщении #1682706 писал(а):

Карточки в китайской комнате не обязаны иметь вид "список вопросов и для каждого ответ". Никто не запрещает на них написать "выпишите триллион чисел, пройдитесь по текстам, обновляйте числа по вот таким правилам".

В Китайской комнате эти числа и правила целиком и полностью заданы извне - LLM частично участвует их формировании, а частично пользуется внешними данными, подобно человеку при обучении.

-- 17.04.2025, 17:15 --

Ghost_of_past в сообщении #1682718 писал(а):

А LLM учится на чужих текстах, понимаете?

Как и человек. Тогда как участник эксперимента Китайская комната не учится вообще - только следует написанным кем-то другим инструкциям.

Ghost_of_past в сообщении #1682718 писал(а):

Нельзя, покуда на мои вопросы по демографии LLM ответить не могут. Впрочем, проблема не только в том, что они каких-то текстов не знают, но и в том, что додуматься до правильного ответа они тоже не могут.

Повторюсь - это может быть частным случаем, поскольку нетривиальные и нетипичные математические задачи, благодаря reasoning, LLM уже решают, и с каждым новым поколением делают это все лучше.

Ghost_of_past в сообщении #1682718 писал(а):

И я в том числе об их сознании говорил - сознание требует не только ощущений и чувств.

Не только - но это фундамент, на котором интеллект строит сознание, ИМХО. Во всяком случае я не представляю себе полноценного сознания без ощущений и чувств, хоть каких-то. Какое-то другое сознание (зачатки которого уже якобы обнаруживают в LLM) может и возникнет, в рамках "чистого разума". Но вопрос в том как отличить сознание от его имитации.

Ghost_of_past в сообщении #1682718 писал(а):

Я ни про какое квалиа речи не вел.

Я веду - как о необходимом и обязательном компоненте известного нам сознания у животных, включая нас самих.

[mihaild]

Ghost_of_past в сообщении #1682726 писал(а):

А человек умеет получать знания неязыковыми способами, а потом их вербализировать.

Есть native multimodal модели, есть с рождения слепые люди.

Ghost_of_past в сообщении #1682726 писал(а):

Собственно говоря, поэтому LLM - это ни разу не сильный ИИ

Тогда мой любимый вопрос: какие конкретно text-to-text задачи такая архитектура решить принципиально не позволяет?

MoonWatcher в сообщении #1682727 писал(а):

В Китайской комнате эти числа и правила целиком и полностью заданы извне - LLM частично участвует их формировании, а частично пользуется внешними данными, подобно человеку при обучении.

Нет, правила обновления весов градиентным спуском тоже полностью заданы извне.

[MoonWatcher]

mihaild
Потому и говорю - частично. Как и у человека, который не сам определяет "правила обучения" своего мозга.

-- 17.04.2025, 17:41 --

mihaild в сообщении #1682731 писал(а):

Тогда мой любимый вопрос: какие конкретно text-to-text задачи такая архитектура решить принципиально не позволяет?

Вопрос не ко мне, но рискну встрять, поскольку это едва ли не главный камень преткновения на сегодня. Я отчасти затронул этот вопрос в теме Ограничения формальных систем, описывающих внешний мир. Насколько я знаю, Ян Лекун считает, что это задачи, связанные с физической ориентацией в пространстве, например. Все ли знания о наблюдаемом нами мире выводимы из текстов - вопрос открытый. Также Лекун скептически смотрит на попиксельное предсказание следующего кадра, например (для целей лучшего понимания окружающего мира). Почему - не вполне понимаю. Так-то его JEPA конечно интересный подход.