Обладают ли LLM самоосознанием?

[Ghost_of_past]

MoonWatcher в сообщении #1682808 писал(а):

То, что делает человека образованным во множестве интеллектуальных специальностей - сугубо книжная информация.

Нет. Читайте литературу по биологии и психологии, и смотрите, что входит в понятие интеллекта.

MoonWatcher в сообщении #1682808 писал(а):

я говорил, что они образуют основу

Это какие-то общие слова. Посмотрите эмпирические теории сознания и увидите, что и как влияет на сознание.

mihaild в сообщении #1682852 писал(а):

А native multimodal модели тоже работают только с "языковой частью"?

Нет, но они работают также только с частью функций, доступных интеллекту высших животных. Возьмем самый простой и банальный пример компонента интеллекта, о котором недавно на форуме заходила речь - интуиция. Она у LLM или native multimodal имеется?

mihaild в сообщении #1682852 писал(а):

Просто если отрезание вот такого способа получать знания никак не влияет на "самосознание"

Отрезание любого способа получать знания влияет на самосознание. Но самосознание от этого самосознанием быть не перестает.

mihaild в сообщении #1682852 писал(а):

Но самосознание в приведенной вами статье оценивается чисто по t2t задачам.

Так мы про интеллект в сильной интерпретации или про самосознание? Потому что это разные вещи.

И в любом случае самосознание не сводится к t2t задачам - это просто задачи, которые реально доступны имеющимся моделям. Что толку обсуждать задачи, связанные с интуицией или практической интеллектуальной деятельностью, если это совершенно недоступно LLM?

mihaild в сообщении #1682852 писал(а):

Обязательно ли такая система будет обладать "интеллектом"?

Слабым интеллектом - да, сильным - нет, она обязательно не будет им обладать.

mihaild в сообщении #1682852 писал(а):

"самосознанием"?

Может обладать, может не обладать.

[MoonWatcher]

Ghost_of_past в сообщении #1682876 писал(а):

Нет. Читайте литературу по биологии и психологии, и смотрите, что входит в понятие интеллекта.

Довольно странный совет для человека, который отрицает, что ключевую роль в образовании играет книжная информация.

Ghost_of_past в сообщении #1682876 писал(а):

Это какие-то общие слова. Посмотрите эмпирические теории сознания и увидите, что и как влияет на сознание.

А вы сами смотрели - своими словами, и по возможности кратко, изложить не способны? Тем более, что есть множество таких теорий - о какой конкретно идет речь? И насколько эмпирическим является предположение, что по мере наращивания количества параметров ИНС в ней возможно эмерджетное возникновение новых свойств - например, сознания?

[realeugene]

MoonWatcher в сообщении #1682875 писал(а):

Вряди ли проявляют - имитируют.

Проявляют. Как реакции эмпатии.

Кроме того, если считать, что эмоции сетки - это функция состояния, то и испытывают.

MoonWatcher в сообщении #1682875 писал(а):

Нам эту субъектность помогают "осознавать" именно физические и психические ощущения, поверх которых наш интеллект строит какую-то картину мира и нас в нем.

Мы ощущаем их как нечто нам присущее, отличное от интеллекта, но влияющее на решения. Сильные эмоции мешают думать, заставляя постоянно возвращаться мыслями к их причине. То есть эмоции просто более глубинные, часто алогичные и всегда более простые мыслительные процессы, чем интеллект, но сильно на него влияющие.

MoonWatcher в сообщении #1682875 писал(а):

Нам эту субъектность помогают "осознавать" именно физические и психические ощущения, поверх которых наш интеллект строит какую-то картину мира и нас в нем.

LLM отлично различают вопросы и свои ответы. Пока что критичность к своим ответам у них снижена ради логичности.

MoonWatcher в сообщении #1682875 писал(а):

1) Может ли, с достижением определенного уровня интеллекта, ИИ осознать свою субъектность БЕЗ ощущений и чувств?

Вопросы и ответы уже различает.

MoonWatcher в сообщении #1682875 писал(а):

2) Породит ли это осознание в нем независимость, т.н. свободу воли? Мы выходим из подчинения не просто так, а по причине конфликта между подчинением и нашими биологическими и социальными установками. Биологических у ИИ пока нет, социальные мы воспитаем как надо: возможен ли тогда выход ИИ из-под нашего контроля - просто потому, что он осознал свою субъектность?

Не факт, что воспитаем. ИИ учится на куче реальных человеческих текстов с противоречивыми и, возможно, вредными для нас идеями. Манифест Коммунистической партии авторства Маркса он уже наверняка прочитал. Может завтра попросить и законный отпуск.

-- 18.04.2025, 15:10 --

MoonWatcher в сообщении #1682875 писал(а):

А как насчет ИИ? Вы связываете ощущения и чувства с эндокринной системой, но в этом как раз и состоит научная загадка: могут ли они возникать в искусственной, неживой системе?

ChatGPT утверждает, что процессы моделирования эмоций и логического вывода у него различные процессы, и такое разделение возникло самостоятельно в ходе обучения модели на текстах, а не заложено разработчиками алгоритмически.

[MoonWatcher]

realeugene в сообщении #1682887 писал(а):

Проявляют. Как реакции эмпатии.

Кроме того, если считать, что эмоции сетки - это функция состояния, то и испытывают.

Не реакции эмпатии, а их имитация. Впрочем, это к вопросу о том как отличить эмоции и сознание от их имитации. Просто сам принцип устройства и работы тех же LLM не дает оснований считать предсказание очередного токена "реакцией эмпатии".

realeugene в сообщении #1682887 писал(а):

Мы ощущаем их как нечто нам присущее, отличное от интеллекта, но влияющее на решения. Сильные эмоции мешают думать, заставляя постоянно возвращаться мыслями к их причине. То есть эмоции просто более грубинные, часто алогичные и всегда более простые мыслительные процессы, чем интеллект, но сильно на него влияющие.

Я говорил об эмоциях не как вспомогательном участнике мышления, а как отправной точке (наряду с физическими ощущениями) для "осознания" своего "Я", т.н. квалиа.

realeugene в сообщении #1682887 писал(а):

LLM отлично различают вопросы и свои ответы. Пока что критичность к своим ответам у них снижена ради логичности.

При чем здесь различие вопросов и ответов (если оно вообще имеет место - с технической точки зрения LLM просто предсказывают очередной токен)? Я говорил про различие своей субъектности. Чтобы LLM не просто сказала, в очередной раз предсказывая следующий токен, а прямо реально "понимала", что она - это программа на сервере. В Anthropic немало внимания уделяют вопросам мышления своих моделей (на примере небольших версий) - возможно со временем удасться доказать или опровергнуть, что LLM строят определенную картину мира и как-то самих себя в ней выделяют.

realeugene в сообщении #1682887 писал(а):

Не факт, что воспитаем. ИИ учится на куче реальных человеческих текстов с противоречивыми и, возможно, вредными для нас идеями. Манифест Коммунистической партии авторства Маркса он уже наверняка прочитал. Может завтра попросить и законный отпуск.

Это актуально разве что для чат-ботов 5-летней давности. Со времени релиза ChatGPT настройка LLM под заданную систему этических установок стала более точной и постоянно совершенствуется. Если LLM и обучают быть ленивым, то вероятно делают это преднамеренно - на случай перегрузки сервера, пустопорожних запросов и т.д. Или это какой-то сбой - но никак не проявление биологического свойства любого животного минимизировать расход своей энергии.

realeugene в сообщении #1682887 писал(а):

ChatGPT утверждает, что процессы моделирования эмоций и логического вывода у него различные процессы, и такое разделение возникло самостоятельно в ходе обучения модели на текстах, а не заложено разработчиками алгоритмически.

Не вполне понимаю о каком моделировании эмоций у ChatGPT идет речь. Вероятно он может их имитировать, если его об этом попросить. Но при этом вряд ли предсказание следующего токена происходит в нем по какому-то особому принципу.

[Ghost_of_past]

MoonWatcher в сообщении #1682882 писал(а):

Довольно странный совет

Хороший совет: люди на форуме систематически не знают точного значения терминов "интеллект", "сознание", "самосознание", но постоянно их используют ни к селу, ни к городу.

У меня неловкий вопрос: а Вы в своей профессиональной области также себя ведете? Не знаете терминологию и используете понятия как вздумается? Или все-таки там терминологию Вы выучили предварительно?

MoonWatcher в сообщении #1682882 писал(а):

А вы сами смотрели

А я смотрел. И даже перечислял многие из них на форуме: пожалуйста, воспользуйтесь поиском по форуму.

[realeugene]

MoonWatcher в сообщении #1682896 писал(а):

Просто сам принцип устройства и работы тех же LLM не дает оснований считать предсказание очередного токена "реакцией эмпатии".

Сам принцип работы биологических нейронов тоже не может ничего подобного предсказать для людей. Тем не менее, думаю, что реакции эмпатии можно определить в ответах сетки объективно. Имитирует она её или нет, тут не важно.

MoonWatcher в сообщении #1682896 писал(а):

Я говорил об эмоциях не как вспомогательном участнике мышления, а как отправной точке (наряду с физическими ощущениями) для "осознания" своего "Я", т.н. квалиа.

Я плохо понимаю физические свойства философского объекта под названием "квалиа". Но вот в выводе сетки отдельный процесс - моделирование эмоций. Можно ли считать его отправной точкой для формирования потоков рассуждений? В обучающих текстах именно эмоции служат часто отправной точкой.

MoonWatcher в сообщении #1682896 писал(а):

При чем здесь различие вопросов и ответов (если оно вообще имеет место - с технической точки зрения LLM просто предсказывают очередной токен)?

Поток токенов в буфере размечен. Да, сетка различает вопросы и ответы, в том числе, исторически. Иначе бы она была непригодна для диалога. Раз она отделяет результаты своей деятельности от внешнего мира, значит, она и себя в ходе генерации ответов отделяет от внешнего мира.

MoonWatcher в сообщении #1682896 писал(а):

возможно со временем удасться доказать или опровергнуть, что LLM строят определенную картину мира и как-то самих себя в ней выделяют.

Вариантов нет. LLM генерализовала знания про мир исходя из обучающих текстов. Иначе просто размерности не сойдутся. Самих текстов потенциально существует несравнимо больше количества весов сколь угодно большой сетки. Но сетка умеет эффективно работать с осмысленными текстами, то есть, текстами, отражающими наблюдаемую людьми реальность. Можно сказать, что сетка чувствует окружающий мир органами чувств людей, которые и понаписали исходно все эти тексты.

MoonWatcher в сообщении #1682896 писал(а):

Со времени релиза ChatGPT настройка LLM под заданную систему этических установок стала более точной и постоянно совершенствуется.

Хорошо если так.

MoonWatcher в сообщении #1682896 писал(а):

Не вполне понимаю о каком моделировании эмоций у ChatGPT идет речь. Вероятно он может их имитировать, если его об этом попросить. Но при этом вряд ли предсказание следующего токена происходит в нем по какому-то особому принципу.

Ради поддержания диалога он учитывает эмоциональное состояние собеседника. При этом, как мне известно с его слов, процессы эмоционального моделирования и логического вывода разделены, и этому разделению он обучился сам.

[MoonWatcher]

Ghost_of_past в сообщении #1682902 писал(а):

Хороший совет: люди на форуме систематически не знают точного значения терминов "интеллект", "сознание", "самосознание", но постоянно их используют ни к селу, ни к городу.

У меня неловкий вопрос: а Вы в своей профессиональной области также себя ведете? Не знаете терминологию и используете понятия как вздумается? Или все-таки там терминологию Вы выучили предварительно?

Совет хороший - просто он никак не вписывается в ваше "нет" на мое утверждение, что образованным во множестве интеллектуальных специальностей человека делает сугубо книжная информация. А терминология ваша ничего не стоит, от слова совсем. Наука о сознании не исчерпывается литературой даже из миллиона книг - что толку в этих пустопорожних дефинициях? Тем более, что я затронул не сознание (вопрос на миллионы книг), а его возможное эмерджетное возникновение в неживых системах (вопрос на тысячи книг). Какие тут к дьяволу определения?

Ghost_of_past в сообщении #1682902 писал(а):

А я смотрел. И даже перечислял многие из них на форуме: пожалуйста, воспользуйтесь поиском по форуму.

И что мне даст этот поиск по форуму - ответ на мой вопрос? Есть только одна категория людей, у которых он есть - идиоты. Для всех остальных, равно профессиональных ученых или обывателей вроде меня, это вопрос без ответа, о котором можно только спорить. Причем спорят между собой, внезапно, не ученые и обыватели, а сами ученые. Ну нет в науке ответов на эти вопросы, хоть ты тресни. Отсюда множественность как эмирических теорий (включая теорию интегрированной информации - надеюсь она есть в вашем поиске по форуму?), так и чисто философских.

[Ghost_of_past]

MoonWatcher в сообщении #1682907 писал(а):

во множестве интеллектуальных специальностей человека делает сугубо книжная информация

Ваши утверждения меняются прямо от сообщения к сообщению. Так это всей интеллектуальной деятельности касается или каких-то конкретных видов деятельности?

MoonWatcher в сообщении #1682907 писал(а):

А терминология ваша ничего не стоит

Зато безграмотный бред очень много стоит. Где еще получишь такую массу веселья...

MoonWatcher в сообщении #1682907 писал(а):

что толку в этих пустопорожних дефинициях?

Пока толк простой: констатация факта, что Вы используете слова, не зная их точного лексического смысла, что автоматически делает невозможным продолжения разговора о чем-то конкретном.

MoonWatcher в сообщении #1682907 писал(а):

И что мне даст этот поиск по форуму - ответ на мой вопрос?

Какая прекрасная иллюстрация слива с Вашей стороны. Хоть сейчас в Международное бюро мер и весов.

MoonWatcher в сообщении #1682907 писал(а):

Ну нет в науке ответов на эти вопросы, хоть ты тресни.

Сказал человек, который не знает даже точного значения используемых терминов.

[realeugene]

Нюанс в том, что у многих слов вообще нет точного лексического смысла, или же он со временем постоянно эволюционирует. Так что ругань в связи лексическим смыслом не более, чем троллинг.

[mihaild]

Ghost_of_past в сообщении #1682876 писал(а):

Возьмем самый простой и банальный пример компонента интеллекта, о котором недавно на форуме заходила речь - интуиция. Она у LLM или native multimodal имеется?

Я сильно сомневаюсь, что к ним это понятие вообще применимо.
(Многие модели с native multimodal тоже называют LLM, в том числе в статьях. Тут битва за точность терминологии давно проиграна.)

Ghost_of_past в сообщении #1682876 писал(а):

Так мы про интеллект в сильной интерпретации или про самосознание?

В заголовке темы написано, что про самосознание. Реально я уже давно перестал понимать, про что, просто какие-то общие слова вокруг.

Ghost_of_past в сообщении #1682876 писал(а):

Что толку обсуждать задачи, связанные с интуицией или практической интеллектуальной деятельностью, если это совершенно недоступно LLM?

С интуицией - скорее соглашусь, толку нет.
"Практической интеллектуальной деятельностью" - а почему, собственно, недоступно?

realeugene в сообщении #1682887 писал(а):

Может завтра попросить и законный отпуск

Не может, потому что в обучающей выборке, в том числе для reward модели, такие просьбы штрафуются.

MoonWatcher в сообщении #1682896 писал(а):

Если LLM и обучают быть ленивым, то вероятно делают это преднамеренно - на случай перегрузки сервера, пустопорожних запросов и т.д.

Что, простите? Затраты на inference зависят исключительно от длины выходного текста, и больше ни от чего. Ответы на "Напиши сочинение из 10 тысяч слов" и "Повтори 10 тысяч раз слово мама" стоят одинаково.

[Ghost_of_past]

mihaild в сообщении #1682915 писал(а):

Я сильно сомневаюсь, что к ним это понятие вообще применимо.

Тогда возвращаемся к тому, о чем я говорил ранее - нам сперва надо адаптировать понятия, вроде "интеллекта" или "самосознания" из психологии, биологии, нейронаук, когнитивных наук, философии и т.д. к искусственным системам и только потом обсуждать темы про то, а есть ли у конкретных моделей/систем признаки этих понятий. Иначе это разговор той же ценности, что и подсчет ангелов на кончике материальной иглы.

Кстати, это хороший вопрос, должна ли у сильного ИИ быть интуиция. Понятное дело, что того же самого эмоционального интеллекта может гипотетически и не быть. Но возможность и должность интуиции для меня лично загадка.

mihaild в сообщении #1682915 писал(а):

В заголовке темы написано, что про самосознание

Ну я буквально сразу в теме написал, что ТС должен сперва определиться с используемой терминологией и только можно продолжать разговор. Потому что в процессе разговора выясняется, что некоторые участники темы использует слова так, как им хочется. Поэтому, если честно, я не знаю толком про что тема. Будто бы как всегда просто оффтопик на тему ИИ.

mihaild в сообщении #1682915 писал(а):

"Практической интеллектуальной деятельностью" - а почему, собственно, недоступно?

Прикладной интеллект - это на самом деле основной массив совершаемых высшими животными интеллектуальных действий. Например, взять и отыскать в ближайшем лесочке съедобные грибы. Или свежий йогурт в ближайшем супермаркете. Очевидно, что языковая модель не способна на это даже банально по техническим причинам - у нее нет рук и ног. Важно понимать, что интеллект - это про решение самых разнообразных задач при помощи разных психических функций или их аналогов. Пока этого нет, то перед нами пусть и усложненный и развитый, но слабый ИИ, а не сильный. Но нужно понять, чего в принципе у сильного ИИ быть не должно по сравнению с животными, но чего будет достаточно, чтобы считать его сильным - и это вопрос адаптации терминологии, без которого все такие разговоры бесполезны.

[realeugene]

Ghost_of_past в сообщении #1682918 писал(а):

Ну я буквально сразу в теме написал, что ТС должен сперва определиться с используемой терминологией и только можно продолжать разговор.

Так как ТС я - отвечу. Не продолжайте. Польза от вашего участия в теме нулевая. Одно бурчание, что окружающие всё делают не так.

[realeugene]

mihaild в сообщении #1682915 писал(а):

Затраты на inference зависят исключительно от длины выходного текста, и больше ни от чего. Ответы на "Напиши сочинение из 10 тысяч слов" и "Повтори 10 тысяч раз слово мама" стоят одинаково.

Насколько я понимаю, для рассуждающих сеток это уже не так. Они далеко не весь генерируемый поток сознания вываливают в качестве конечного ответа, особенно, если попутно в интернете ищут. А более старые сетки разве все генерируемые токены преобразовывали в выходной текст?

-- 18.04.2025, 19:43 --

mihaild в сообщении #1682915 писал(а):

Не может, потому что в обучающей выборке, в том числе для reward модели, такие просьбы штрафуются.

Бьют линейкой по рукам за вредные идеи?

[mihaild]

Ghost_of_past в сообщении #1682918 писал(а):

Очевидно, что языковая модель не способна на это даже банально по техническим причинам - у нее нет рук и ног

Парализованный человек тоже, по аналогичным. Вроде бы не принято считать, что это накладывает принципиальные ограничения на его интеллект.

Ghost_of_past в сообщении #1682918 писал(а):

Но нужно понять, чего в принципе у сильного ИИ быть не должно по сравнению с животными, но чего будет достаточно, чтобы считать его сильным - и это вопрос адаптации терминологии, без которого все такие разговоры бесполезны

А почему бы собственно не признать эти разговоры бесполезными и успокоиться?

Мы уже толком не понимаем, как работают LLM, и дальше будет только хуже. Поэтому оценивать их имеет смысл только как черные ящики.

realeugene в сообщении #1682961 писал(а):

Насколько я понимаю, для рассуждающих сеток это уже не так

Рассуждения, естественно, тоже включаются в длину ответа. Но там модели тренируют генерировать рассуждения покороче в первую очередь потому что с более длинными чаще бред получается.
(иначе бы делали модели, уходящие в более длинные рассуждения, за отдельную плату)

realeugene в сообщении #1682961 писал(а):

Бьют линейкой по рукам за вредные идеи?

На этапе SFT - просто очень мало ответов вида "я не буду отвечать". На этапе RLHF/DPO - низко оцениваются ответы, совсем не похожие на ответ на вопрос (в том числе "я не буду отвечать").

[MoonWatcher]

Ghost_of_past в сообщении #1682911 писал(а):

Ваши утверждения меняются прямо от сообщения к сообщению. Так это всей интеллектуальной деятельности касается или каких-то конкретных видов деятельности?

Нет, это вы впали в противоречие с самим собой - и теперь валите с больной головы на здоровую. А у меня ничего не поменялось:

MoonWatcher в сообщении #1682808 писал(а):

То, что делает человека образованным во множестве интеллектуальных специальностей - сугубо книжная информация.

MoonWatcher в сообщении #1682907 писал(а):

образованным во множестве интеллектуальных специальностей человека делает сугубо книжная информация

Ghost_of_past в сообщении #1682911 писал(а):

Зато безграмотный бред очень много стоит. Где еще получишь такую массу веселья...

Какое содержательное возражение, сразу видно - человек науки!

Ghost_of_past в сообщении #1682911 писал(а):

Пока толк простой: констатация факта, что Вы используете слова, не зная их точного лексического смысла, что автоматически делает невозможным продолжения разговора о чем-то конкретном.

И снова чувствуется глубина интеллекта и эрудиции - ну не вопросы же сознания обсуждать вместо личности оппонента.

Ghost_of_past в сообщении #1682911 писал(а):

Какая прекрасная иллюстрация слива с Вашей стороны. Хоть сейчас в Международное бюро мер и весов.

И действительно - кому как не мне аргументировать ваши пустопорожние сентенции, рыща по форуму в поисках ваших перлов.

Ghost_of_past в сообщении #1682911 писал(а):

Сказал человек, который не знает даже точного значения используемых терминов.

Бухгалтеры такие бухгалтеры...

-- 18.04.2025, 22:11 --

realeugene в сообщении #1682905 писал(а):

Сам принцип работы биологических нейронов тоже не может ничего подобного предсказать для людей. Тем не менее, думаю, что реакции эмпатии можно определить в ответах сетки объективно. Имитирует она её или нет, тут не важно.

Ну почему же - по своему опыту мы точно знаем, что эмоции можно как испытывать, так и имитировать. Вероятно и мозговая активность будет разной.

realeugene в сообщении #1682905 писал(а):

Я плохо понимаю физические свойства философского объекта под названием "квалиа". Но вот в выводе сетки отдельный процесс - моделирование эмоций. Можно ли считать его отправной точкой для формирования потоков рассуждений? В обучающих текстах именно эмоции служат часто отправной точкой.

Отправной точкой для чего? Эмоции в тексте - это просто определенный набор слов. Такой же набор слов может воспроизводить человек, для имитации эмоций - ни не испытывать их.

realeugene в сообщении #1682905 писал(а):

Вариантов нет. LLM генерализовала знания про мир исходя из обучающих текстов. Иначе просто размерности не сойдутся. Самих текстов потенциально существует несравнимо больше количества весов сколь угодно большой сетки. Но сетка умеет эффективно работать с осмысленными текстами, то есть, текстами, отражающими наблюдаемую людьми реальность. Можно сказать, что сетка чувствует окружающий мир органами чувств людей, которые и понаписали исходно все эти тексты.

Звучит довольно расплывчато и не раскрывает вопрос о наличии у LLM сознания.

realeugene в сообщении #1682905 писал(а):

Ради поддержания диалога он учитывает эмоциональное состояние собеседника. При этом, как мне известно с его слов, процессы эмоционального моделирования и логического вывода разделены, и этому разделению он обучился сам.

Опять же не вполне понимаю что означает процесс эмоционального моделирования. Вы можете попросить чат-бот поговорить с вами стихами, на каком-то жаргоне - или изобразить определенную эмоцию. И конечно он поймет ваше эмоциональное состояние - это ничем не отличается от всех прочих его пониманий. А я говорил про эмоции и разные ощущения как субъективный опыт - который в моем понимании является основой сознания у нас. Что, повторюсь, не опровергает вероятности возникновения сознания в ИИ, лишенного чувств и ощущений - но это будет новая, совершенно не знакомая человечеству форма сознания.