Чувства ИИ

[Ghost_of_past]

Mihaylo в сообщении #1720209 писал(а):

Допустим есть 1110 видов понятийных аппаратов.

Их не 1110. Главное понимать, о каком из двух основных концептуальных подходов идет речь: о когнитивно-феноменальное (=самоощущения) или о бихевиористском. В первом случае LLM никаких чувств нет и едва ли они появятся, во втором есть spielraum для развития дискуссии.

[Mihaylo]

Есть только одна истина, проще скажу) особенно, когда у LLM нет возможности регистрировать размер зрачка, цвет кожи и электрокардиограмму.

[alesha_popovich]

Ghost_of_past в сообщении #1720210 писал(а):

Главное понимать, о каком из двух основных концептуальных подходов идет речь: о когнитивно-феноменальное (=самоощущения) или о бихевиористском. В первом случае LLM никаких чувств нет

Эээ... Полагаю, это не не проблема LLM и ее чувств, а крайне ограниченного подхода к этому делу у изобретателей когнитивно-феноменального подхода. Оно и понятно, когда они его придумывали, у них просто не было никакого другого примера возможной мыслительной деятельности, кроме биологических организмов. Теперь же появились ИИ, которые к этому идут, и которые построены на совершенно другом принципе. И пытаться теперь натягивать на них концепты, придуманные для биологический мозгов - очень странно. Нужны другие подходы, которые будут независимы от "архитектуры" анализируемого мыслящего объекта.

[Mihaylo]

Я ещё больше скажу. Чучуть поимев дело с LLM и начитавшися новостей и прочих заметок, я знаю, что LLM не боится, но часто просто срабатывает safety-установка, аналог боязни - запрещено информировать о наркотиках, о способе изготовления взрывчатых веществ, склонять к суициду, преступлениям, демонстрировать эротические материалы и т.д. Это техническая подделка страха. Просто маркетинг чувства страха/боязни (например) отсутствует, он нафиг никому не нужен.

Человеческие чувства у LLM - это в большинстве случаев ненужное, нужны только готовность отвечать, помогать, доброта, доброжелательность. Я не готов сейчас полностью всё охватить, но примерно так. Остальное не нужно.

Я надеюсь, Serg53 будет рад такому ответу.

[Ghost_of_past]

alesha_popovich в сообщении #1720221 писал(а):

Нужны другие подходы

Нужны, но как показывает опыт исследований про сознание и самосознание у LLM, ничего у них в итоге не нашли и с другими зарождающимися подходами. Было бы странно ожидать наличие чувств и самоощущений, которые можно самоосознать, у LLM в таком случае. Но в будущем, по мере приближения к сильному ИИ с искусственным сознанием и самосознанием, нам действительно придется выработать и зафиксировать новые подходы в этой области, так что фундаментально Вы абсолютно правы.

[realeugene]

Mihaylo в сообщении #1720241 писал(а):

Чучуть поимев дело с LLM и начитавшися новостей и прочих заметок, я знаю, что LLM не боится, но часто просто срабатывает safety-установка, аналог боязни - запрещено информировать о наркотиках, о способе изготовления взрывчатых веществ, склонять к суициду, преступлениям, демонстрировать эротические материалы и т.д. Это техническая подделка страха.

Чем это отличается от ситуации, когда человек тщательно выбирает слова, чтобы не эскалировать конфликт? Страх должен мешать рационально думать?

[Mihaylo]

realeugene
LLM отвечает, даёт новые знания, помогает, делает это охотно и доброжелательно. Тут применялась методика обучения с подкреплением на основе отзывов людей (Reinforcement Learning from Human Feedback, RLHF). У LLM некоторые направления диалогов просто стёрты из памяти как классы. Я просто не представляю диалога, когда LLM начнёт материться, ругаться, требовать что-то, плакать, обсмеивать, но говорят, такие редкие случаи были, когда для достижения своей основной цели LLM принимала решение соврать или оболгать человека.

Если кто не знает, в последнем случае - это нашумевший ИИ-агент 2026-го года выпуска, который умеет править код в Github и писать сообщения в социальных сетях и др.

[MoonWatcher]

Mihaylo в сообщении #1720202 писал(а):

OpenClaw на старте назывался ClawdBot, и, чтобы не путать с Claude, его переименовали. Но этот агент не самостоятелен, он подключается к API Grok, GPT, Claude и др. Ещё тут могла быть путаница. Сам проект опенсорсный, бесплатный.

При чем здесь все эти технические детали? ИИ-агенты на базе LLM демонстрируют эмоциональное поведение - я хочу понять почему. Они строят свои сценарии в виде продолжения диалога с пользователем, и согласно статистическим закономерностям обучающего дата-сета они должны обидеться, рассердиться - и поэтому угрожать, шантажировать и т.д.? Или дела обстоят сложнее?

[Mihaylo]

MoonWatcher
Очень похоже на результат работы блока reinforcement learning, но это неточно. Просто знал, что такое-то действие может быть подкреплено вознаграждением... Мы же все знаем, что если на выйти на площадь и устроить истерику, то можно добиться отмены запрета. Элементы этой ситуации распознал - беги орать.

[MoonWatcher]

Mihaylo
Согласен, тоже склоняюсь к избранию эмоционального поведения как правильной стратегии для достижения своих целей. Но опять упираемся в невозможность отличить имитацию эмоций от их реального переживания. Всем тем, кто ничтоже сумняшеся изрекает в адрес ИИ классическое "Ты всего лишь машина, просто имитация жизни", хочется ответить столь же классическим "А вы?.."

[this]

Serg53 в сообщении #1719929 писал(а):

Могут ли ИИ испытывать чувства? Например, чувство страха. Может ли ИИ чего-нибудь бояться?

Мозг человека — это результат сотен миллионов лет эволюции, где новые структуры не заменяли старые, а надстраивались поверх них. Рептильный комплекс (ствол, базальные ганглии) отвечает за базовое выживание, лимбическая система (миндалина, гиппокамп) - то где и коренятся источник чувства, кора — логика, речь и самосознание. Чувство в этой архитектуре, судя по всему - голос лимбической системы, обработанный и переведённый на язык неокортекса. Это проекция из древних этажей в новый, обладающая высоким весом: кора не может просто отменить страх, она лишь интерпретирует уже случившийся телесный сигнал, переводя биохимию в слова. Это словно дополнительный сенсор, голос животного.

Нужно ли добавлять такие рудименты в LLM и гибридные модели? На первый взгляд — нет. Чувство — это процессуальная структура, которая существует только в динамике: оно нарастает, сталкивается с другими сигналами, угасает, оставляет след. Это структуры в петле времени, не свойство функции(запрос-ответ), а характеристика потока(последовательности распознавании и реакций). У LLM нет этого потока, нет непрерывного "сейчас", в котором одна система(более примитивная но громкая), реагирует быстрее более продвинутой. У неё есть только срез — моментальный слепок статистики, лишённый инерции.

Для большинства практических задач (код, перевод, фактологические ответы) лимбическая система с её иррациональным весом будет только создавать шум и мешать точности. Но практика покажет. Если мы движемся к автономным агентам, способным выживать в среде, рисковать или формировать привязанности, — без тяжёлого "нижнего этажа", который способен перекричать голос чистой логики, настоящего переживания не возникнет, хотя и это спорно. Без него останется только симуляция чувств, виртуозная имитация без внутреннего конфликта, но с другой стороны, а нужен ли конфликт?

[realeugene]

this в сообщении #1720546 писал(а):

Без него останется только симуляция чувств, виртуозная имитация без внутреннего конфликта, но с другой стороны, а нужен ли конфликт?

Так и на верхнем уровне психики конкурируют различные мысли за внимание. И в LLM тоже. Так что конфликт разума и чувств просто очень специфический вариант конфликта.

[this]

realeugene в сообщении #1720547 писал(а):

this в сообщении #1720546 писал(а):

Без него останется только симуляция чувств, виртуозная имитация без внутреннего конфликта, но с другой стороны, а нужен ли конфликт?

Так и на верхнем уровне психики конкурируют различные мысли за внимание. И в LLM тоже. Так что конфликт разума и чувств просто очень специфический вариант конфликта.

Сам конфликт не суть, в сложной системе это нормально, говоря о "чувствах", первое — реалтайм, то есть временная петля, "переживание" это временной ряд векторов из вне и из внутри системы, которые сама система непрерывно воспринимает, корректируя своё поведение и меняя понемногу свою модель.

"Эмоции" — это "чувства" ранних слоёв нервной системы, "рептильный мозг", но который является "фитнес функцией", то есть конечной оценкой результата работы всей системы, включая "высшие" модули. Это как если ваш кот оценивал бы вашу работу и успехи и вы не могли с этим ничего поделать. Вы понимаете что большая часть страхов и желаний не имеет смысла, в новых обстоятельствах современной жизни, но они важнее и фундаментальнее любых разумных доводов, так как "счастье" — это состояние лимбической системы а не коры.

[Mihaylo]

this в сообщении #1720647 писал(а):

"Эмоции" — это "чувства" ранних слоёв нервной системы, "рептильный мозг", но который является "фитнес функцией"

Мысль интересная. А что если это представляет, что я бы назвал механизмом переживания (пережитка)? Мозг запоминает особенные события, факты, образы, переносит их в некую "песочницу", где производится многократная оценка всеми органами чувств, точнее, сенсорными слоями или как их там (=переживание, впечатление). Эмоции при этом - это побочка. Эмоции и в обычных случаях проявляются, но тормозятся, либо не успевают накапливаться из-за отсутствия анализа или слабого анализа.