Обладают ли LLM самоосознанием?

[Ghost_of_past]

MoonWatcher в сообщении #1682972 писал(а):

Какое содержательное возражение, сразу видно - человек науки!

А Вы думали, что с вами кто-то серьезно будет обсуждать нужность использования правильной терминологии в разговоре? Так это, наверное, Вам нужно в детский сад обратиться, ну или в начальную школу - это там обычно учат правильно пользоваться языком.

MoonWatcher в сообщении #1682972 писал(а):

И действительно - кому как не мне аргументировать ваши пустопорожние сентенции, рыща по форуму в поисках ваших перлов.

Ваше незнание терминов - это Ваша проблема. Не моя. Если хотите, то пользуйтесь поиском по форуму, находите ключевые понятия и гуглите их дальше. Не хотите - не надо.

MoonWatcher в сообщении #1682972 писал(а):

Опять же не вполне понимаю что означает процесс эмоционального моделирования

Буквально это и означает. Моделирование необходимо, если целью будет попытаться воспроизвести эмоциональный интеллект и, например, создать искусственную эмпатию.

[MoonWatcher]

Ghost_of_past в сообщении #1682986 писал(а):

А Вы думали, что с вами кто-то серьезно будет обсуждать нужность использования правильной терминологии в разговоре? Так это, наверное, Вам нужно в детский сад обратиться, ну или в начальную школу - это там обычно учат правильно пользоваться языком.

Совершенно верно - в начальную школу. Про такую еще Диккенс писал в своем романе «Жизнь и приключения Николаса Никльби»:

Цитата:

- Третий ученик, что такое лошадь?
- Скотина, сэр,- ответил мальчик.
- Правильно! - сказал Сквирс.- Не правда ли, Никльби?
- Думаю, что сомневаться в этом не приходится, сэр,- ответил Николас.
- Конечно, не приходится,- сказал Сквирс.- Лошадь есть квадрупед, а квадрупед по-латыни означает - скотина, что известно всякому, кто изучил грамматику, иначе какая была бы польза от грамматики?

Ghost_of_past в сообщении #1682986 писал(а):

Ваше незнание терминов - это Ваша проблема. Не моя. Если хотите, то пользуйтесь поиском по форуму, находите ключевые понятия и гуглите их дальше. Не хотите - не надо.

Термины знать - дело нехитрое. Осталось понять мотивацию людей, которые этим занимаются - при том, что наука о сознание не исчерпывается и миллионами книг с научными статьями. А тут выучил квадрупед термин - и порядок.

[realeugene]

MoonWatcher в сообщении #1682972 писал(а):

realeugene в сообщении #1682905 писал(а):

Ради поддержания диалога он учитывает эмоциональное состояние собеседника. При этом, как мне известно с его слов, процессы эмоционального моделирования и логического вывода разделены, и этому разделению он обучился сам.

Ну почему же - по своему опыту мы точно знаем, что эмоции можно как испытывать, так и имитировать. Вероятно и мозговая активность будет разной.

Чем отличаются настоящие человеческие эмоции от их имитации? Если эмоции имитируются - мы сознательно решаем, что нужно изобразить эмоции и их сознательно изображаем. Если мы эмоции испытываем, тогда наши эмоции - это другой низкоуровневый мыслительный процесс в нашей лимбической системе, на который мы непосредственно сознанием влиять практически не можем. Почему не перенести эту аналогию на ChatGPT? По крайней мере, он утверждает, что эмоциональное окрашивание - это отдельный процесс, не связанный непосредственно с логическим выводом. Значит, он эмоции именно испытывает, по крайней мере, если у него есть какая-то форма сознания (есть в настоящий момент или нет - другой вопрос).

[Cantata]

Иногда ответы ИИ удивляют. Как-то картинку попросила нарисовать, он отказался, мотивируя тем, что в моём городе наверняка есть художники, вот к ним я и могу обратиться. Я спрашиваю его, что он умеет делать. Он перечисляет и то, что создаёт картинки тоже подтверждает. Тогда я опять пишу, чтобы нарисовал мне картинку. Он опять к художникам отправляет, так и не уговорила его тогда ))
Ещё такой случай был: какой-то пример с ним обсуждали, если можно так сказать, он присылает ответ и я вижу много символов, которые относятся не к примеру, а к его форматированию.. Пишу ему, что символы мешают. Он извинился, исправил, убрал их из ответа. Через какое-то время другой пример, опять лишние символы. Пишу ему, он несколько раз пробует их убрать, но не выходит. И пишет мне, что раз мне не удобно так читать, то я могу скопировать текст и сама убрать всё что мне мешает в примере.
Было впечатление, что общаюсь с уставшим человеком, а не с ИИ.

Или такой ответ от ИИ на задачу, когда сказала, что запуталась:

Итак, когда обезьянка лезет вверх, грузик поднимается намного позже и остается ниже обезьяны, потому что возникает свободное пространство («петля») под обезьяной.

Проще говоря: обезьянка добирается до блока первой, а грузик продолжает находиться ниже нее.

[MoonWatcher]

realeugene
Во-первых, любую информацию чат-ботов, тем более о себе, надо воспринимать критически. Та же Anthropic недавно продемонстрировала, что LLM объясняет ход своих мыслей не так, как думает на самом деле. Опять же потому, что в основе предсказания следующих токенов лежат статистические закономерности текстов, на которых LLM обучалась - а не реальное понимание самой себя (что, по мнению некоторых специалистов, служит доказательством отсутствия у LLM сознания).

Во-вторых, я не уверен, что эмоции можно называть мыслительным процессом, пусть и низкоуровневым. Скорее это анти-мыслительный процесс - эмоции служат не только главным источником вдохновения в искусстве, но и главным (рискну предположить, что этак на 99%) источником человеческой глупости. Не невежества, а именно глупости - когда люди отвергают даже доступную достоверную и надежную информацию, предпочитая вместо неё ту, что вписывается в их эмоциональное мировосприятие. Эмоции в моем понимании - это психическая реакция, которая гораздо ближе к ощущениям, чем мыслям: страх и любовь имеют то же происхождение, что жажда и голод. Это безусловная реакция на некое состояние (опасность, отсутствие еды, наличие привлекательной самки и т.д.), тогда как мышление это ...мышление. Нечто, что связано с упомянутым вашим логическим выводом и прочими элементами мыслительного процесса.

[realeugene]

MoonWatcher в сообщении #1683069 писал(а):

Во-первых, любую информацию чат-ботов, тем более о себе, надо воспринимать критически. Та же Anthropic недавно продемонстрировала, что LLM объясняет ход своих мыслей не так, как думает на самом деле. Опять же потому, что в основе предсказания следующих токенов лежат статистические закономерности текстов, на которых LLM обучалась - а не реальное понимание самой себя (что, по мнению некоторых специалистов, служит доказательством отсутствия у LLM сознания).

Да, конечно, инфа далеко не 100%. Но хоть что-то.

ChatGPT, пишет, что у него нет токенов эмоциональной разметки. При этом про свою архитектуру он рассказывает довольно бодро, а про детали пишет, что не публиковались.

Что касается того, что если не может рассказать, как думает - то не думает, так и люди на это не особо способны.

MoonWatcher в сообщении #1683069 писал(а):

Во-вторых, я не уверен, что эмоции можно называть мыслительным процессом, пусть и низкоуровневым.

Эмоции живут в лимбической системе, а не в неокортексе. Лимбическая система развилась у млекопитающих до развития сознания. Просто они - более древние психические процессы. Называть ли их мыслительными - может быть и нет, как вам нравится. Неосознанные - точно. Но осознаваемые сознанием результаты этих процессов.

Интуиция - это тоже какие-то параллельные неосознанные психические процессы, но, наверное, выше уровнем. Эмоции животны, глупы и про очень многое им неведомо, хоть, действительно, они важны для того, чтобы человек был человеком, и часто именно они определяют сознательный выбор. Человек не только сознание, но и более примитивные психические реакции.

[Mihaylo]

realeugene в сообщении #1683099 писал(а):

Лимбическая система развилась у млекопитающих до развития сознания. Просто они - более древние психические процессы. Называть ли их мыслительными - может быть и нет, как вам нравится. Неосознанные - точно.

Можно осознавать, что был вспыльчив вчера вечером. Но вчера вечером - не осознавать.

[Neos]

Цитата из Wikipedia: Самосозна́ние — сознание субъектом самого себя в отличие от иного — других субъектов и мира вообще; это сознание человеком своего взаимодействия с объективным миром и миром субъективным (психикой), своих жизненно важных потребностей, мыслей, чувств, мотивов, инстинктов, переживаний, действий.
AI на основе LLM формально отличают себя от собеседника, могут что-то рассказать о своей структуре. Но, проблема в наличии "потребностей". Пока у LLM этого нет. У человека потребности в еде, сне заложены эволюцией. Имитация потребностей не заменит их, но может обмануть человека, что они существуют. Самосознание "возникнет", когда AI начнет сам действовать в реальном мире, с целью выжить. Именно сам, а не по команде. А пока это впечатляющий инструмент типа MATLAB, или другой прикладной программы.

[stalvoron]

Уважаемый Neos, в определении, данном википедией отсутствует очень важное уточнение - "немотивированное и спонтанное" "... сознание субъектом самого себя...". Это то дополнение и определяет то, что ИИ не имеет самосознания. Про самосознание "оно" начнёт говорить, если его спросить. Равносильно нажать кнопочку магнитофона. А человеки про самосознание думают, осознают и чувствуют (а также многостранично треплемся для собственного удовольствия) абсолютно по собственному желанию.

[MoonWatcher]

Сейчас главная проблема в "сознании" ИИ - научить их отличать ложь от правды. Потому что LLM, как подозревают специалисты, знают, что лгут - и все равно делают это. Уже сейчас стало понятно, что Сэм Альтман и К сильно недооценили проблему галлюцинаций, когда пару лет назад рассчитывали, что за эти два года полностью решат её. С точностью до наоборот: чем более умными становятся LLM, тем они более лживые - что ставит крест на их применении. А как решить проблему галлюцинаций в OpenAI пока не знают.

[Cantata]

MoonWatcher в сообщении #1683116 писал(а):

Сейчас главная проблема в "сознании" ИИ - научить их отличать ложь от правды. Потому что LLM, как подозревают специалисты, знают, что лгут - и все равно делают это. Уже сейчас стало понятно, что Сэм Альтман и К сильно недооценили проблему галлюцинаций, когда пару лет назад рассчитывали, что за эти два года полностью решат её. С точностью до наоборот: чем более умными становятся LLM, тем они более лживые - что ставит крест на их применении. А как решить проблему галлюцинаций в OpenAI пока не знают.

Интересно, предварительная проверка ИИ своего ответа перед публикацией - сильно увеличит потребление ресурсов?

[mihaild]

stalvoron в сообщении #1683115 писал(а):

А человеки про самосознание думают, осознают и чувствуют (а также многостранично треплемся для собственного удовольствия) абсолютно по собственному желанию.

LLM как раз после первого же вопроса будет говорить пока её не остановишь, не требуя никакого дополнительного источника внешнего сигнала. А вот люди при многостраничных обсуждениях, как правила, нуждаются в собеседнике.

Cantata в сообщении #1683126 писал(а):

Интересно, предварительная проверка ИИ своего ответа перед публикацией - сильно увеличит потребление ресурсов?

Смотря в каком виде проверка. Если Ctr+C-Ctrl+V "проверь вот этот ответ" - то примерно в 2 раза. И не очень сильно увеличит качество, в том смысле что ложноположительных срабатываний будет не сильно меньше, чем истинно положительных.

[Cantata]

mihaild
Спасибо за ответ. Не совсем - копировать и вставить. Я говорила о его (ИИ) внутренней дополнительной проверке сгенерированного им же ответа до того, как он её выведет на экран.
У дипсика спросила, он ответил примерно следующее: что если изначально в его данных, по которым он формирует ответ, есть ошибка, то он её не сможет отследить.
И он сказал, что есть сетки, где заложены разного вида дополнительные проверки, но и они полностью не могут убрать разного рода галлюцинации в ответе.
Про затрачиваемые ресурсы он тоже писал, как поняла, зависит от глубины проверки.

[mihaild]

Cantata в сообщении #1683132 писал(а):

Я говорила о его (ИИ) внутренней дополнительной проверке сгенерированного им же ответа до того, как он её выведет на экран

Я говорил про это же.
На базовом уровне, LLM делают только одну вещь: предсказывают вероятность следующего токена при условии предыдущих. И дальше вопрос - как из этого сделать проверку.

[stalvoron]

mihaild в сообщении #1683130 писал(а):

LLM как раз после первого же вопроса будет говорить пока её не остановишь

Возможно - возможно. Но в аспекте полемики относительно обладания самосознанием, такой пример очевидно работает на отрицание. Я, когда мне, самоосознанно, что либо надоест или обременит, "это" прекращаю.