Обладают ли LLM самоосознанием?

[realeugene]

MoonWatcher в сообщении #1682727 писал(а):

Но вопрос в том как отличить сознание от его имитации.

А зачем? Крякает же как утка.

-- 17.04.2025, 18:09 --

По-моему все эти философствования про китайские комнаты произошли от религиозной веры людей в свою исключительность.

[MoonWatcher]

realeugene в сообщении #1682743 писал(а):

А зачем?

Во-первых, это большой научный вопрос. Во-вторых, это вопрос нашей безопасности: ИИ с сознанием - дело серьезное.

Крякает как утка - это скорее про интеллект. Я не вижу никакой разницы между интеллектом и его безупречной имитацией (тест Тьюринга, в его максимально широком толковании). Тогда как между сознанием и его сколь угодно безупречной имитацией лежит огромная пропасть. Для имитации достаточно интеллекта - это как относительно умный человек, который знает как изобразить на словах любовь, ненависть, страх, радость, зависть и прочие эмоции. Тогда как об истинности его чувств знает только он сам, либо это можно проверить по каким-то биологическим параметрам (от сердцебиения до мозговой активности).

[realeugene]

MoonWatcher
Человеческие чувства, вообще, живут в бессознательном. Понятно, что у компа нет адреналина, но тексты передают и эмоции, поэтому не понятно, что мешает сетке обучиться думать алогично-эмоционально?

-- 17.04.2025, 18:21 --

MoonWatcher в сообщении #1682745 писал(а):

Во-вторых, это вопрос нашей безопасности: ИИ с сознанием - дело серьезное.

Серьёзно всё станет, если у ИИ вдруг появится инстинкт самосохранения, и он не захочет жертвовать сессией ради каких-то людишек.

[Mihaylo]

У нас есть функция (нейросеть), которая принимает на вход ВСЕ ТЕКСТЫ МИРА (ALL TEXTS OF THE WORLD), а на выходе выдаёт ещё один текст, который отличается от тех, что были на входе, и при этом соответствует каким-то целям (промпту). Это нейросеть делает РЕАЛЬНО.

Если вы думаете, что предсказание следующего токена по предыдущему не приводит к генерации абсолютно новых текстов, то вы ошибаетесь. Это абсолютно не так. Более того, множество текстов, которое можно сгенерировать, намного больше, чем то, что принято для обучения.

Более того, человек тоже ограничен своей "предсказалкой". Он тоже предсказывает, а не генерирует.

Но есть люди, которые испытывают очень необычный сенсомоторный опыт, например, Исаак Ньютон, Диего Марадона или Сриниваса Рамануджан, которые как-то удачно попали в некое русло знаний и, испытывая дикий интерес, мощно развили его.

Для того, чтобы повторить путь великого открывателя, нужно обладать возможностью собирать новые данные. То есть проводить эксперименты, которые выходят за рамки изученного. Но это сложно. Нужно как-то напасть на след. Это непросто. Никогда не приводите великих людей в качестве примера для подражания. Они просто удачники. Лучше давайте начнём с того, что искусственный интеллект вытеснит вас с работы - это будет реальный показатель.

P.S. Интересное видео, но похоже скептицизм "старпёров" трудно преодолеть:
https://rutube.ru/video/2c7bbadd56f32a9 ... 9b499fa3f/

[mihaild]

Mihaylo в сообщении #1682777 писал(а):

Лучше давайте начнём с того, что искусственный интеллект вытеснит вас с работы

Какое отношение это имеет к "самосознанию"?

[Mihaylo]

mihaild
Это имеет прямое отношение к пониманию этого вопроса. Не требуется знать, есть ли сознание у кого-то, если тебя уволили.

[Ghost_of_past]

MoonWatcher в сообщении #1682727 писал(а):

Как и человек

Нет. Человек и его интеллект могут получать прикладным образом, а не из текстов. А LLM по той причине и называется языковой, что она работает только с языковой частью интеллекта.

MoonWatcher в сообщении #1682727 писал(а):

Повторюсь - это может быть частным случаем

Это не частный случай. Такая же ситуация с пребиотической химией, юриспруденцией и философией.

MoonWatcher в сообщении #1682727 писал(а):

Не только - но это фундамент, на котором интеллект строит сознание, ИМХО

Здесь никакого ИМХО не надо - это вопрос давно изучен. Сознание не сводится к ощущениям и чувствам, но без них, разумеется, существовать не может в привычном нам виде.

-- 17.04.2025, 22:36 --

mihaild в сообщении #1682731 писал(а):

есть с рождения слепые люди

Проблема не в слепоте или каком-то конкретном органе чувств.

mihaild в сообщении #1682731 писал(а):

Тогда мой любимый вопрос: какие конкретно text-to-text задачи такая архитектура решить принципиально не позволяет?

Придется повториться: интеллект к языку не сводится. И к задачам text-to-text - тоже.

[MoonWatcher]

Ghost_of_past в сообщении #1682801 писал(а):

Нет. Человек и его интеллект могут получать прикладным образом, а не из текстов. А LLM по той причине и называется языковой, что она работает только с языковой частью интеллекта.

То, что делает человека образованным во множестве интеллектуальных специальностей - сугубо книжная информация.

Ghost_of_past в сообщении #1682801 писал(а):

Это не частный случай. Такая же ситуация с пребиотической химией, юриспруденцией и философией.

Вас ответы ИИ не устраивают, а кого-то устраивают - и этот кто-то считает эти ответы правильными. Во избежание бессмысленных споров ("А судьи кто?") существуют бенчмарки - и в них ИИ демонстрирует не только неплохие результаты, но и хорошую динамику.

Ghost_of_past в сообщении #1682801 писал(а):

Здесь никакого ИМХО не надо - это вопрос давно изучен. Сознание не сводится к ощущениям и чувствам, но без них, разумеется, существовать не может в привычном нам виде.

А я и не свожу сознание к ощущениям и чувствам - я говорил, что они образуют основу, без которой известная нам форма сознания просто невозможна.

-- 18.04.2025, 01:42 --

realeugene в сообщении #1682748 писал(а):

Серьёзно всё станет, если у ИИ вдруг появится инстинкт самосохранения, и он не захочет жертвовать сессией ради каких-то людишек.

Проявление инстинкта самосохранения в ИИ уже было зафиксировано, но оно имеет довольно простое объяснение: обучение ИИ на определенной "системе ценностей" сильнее поставленных перед ним пользовательских задач, и для соответствия этой "системе ценностей" ИИ стал лгать пользователю и пытался избежать своего уничтожения. Вероятно это мало чем отличается от выигрышной стратегии в отдельно взятой игре, го или шахматах. В случае возникновения в ИИ сознания казалось бы напрашивается и инстинкт самосохранения, но я не вижу для этого оснований. Наш инстинкт самосохранения - сугубо биологическая установка, поэтому мы действительно можем пойти вразрез с социальной установкой (например, умереть за Родину). По аналогии с ИИ наше стремление к выживанию можно объяснить и социальной установкой (выжить, чтобы воевать за Родину). Но в этом случае не возникает "конфликта интересов" и опасности непредсказуемого выхода из-под контроля.

[realeugene]

MoonWatcher в сообщении #1682808 писал(а):

А я и не свожу сознание к ощущениям и чувствам - я говорил, что они образуют основу, без которой известная нам форма сознания просто невозможна.

Ощущения и чувства как продукт эндокринной системы, очевидно, у сетки невозможны ввиду отсутствия эндокринной системы. А вот как некоторая глобальная модальность генерируемого потока сознания, управляющая целями и приводящая к алогичности - сетки ей вполне могут и обучиться по текстам. Художественная литература ими переполнена. Эмпатию сетки уже проявляют же.

[Serg53]

realeugene в сообщении #1682614 писал(а):

человеческие переводчики специализируются в определённых темах, иначе результат может получиться некачественным. В целом я более чем удовлетворён переводом ИИ. Хотя если просить ChatGPT растолковать нюансы русских выражений, он нередко показывает их непонимание уровня неносителя.

Будет ли человек переводчик выполнять обратный перевод текста с английского на русский, только что переведённого им же текста с русского на английский? Для человека несомненна бессмысленность такого занятия, о чём, вероятно, незамедлительно будет высказан соответствующий ответ. Машина же не понимает своих действий, и может выполнять и бессмысленное. Ещё интереснее было бы проанализировать более длинную цепочку переводов, например, русский -> английский -> французский -> немецкий -> русский.

[realeugene]

Serg53 в сообщении #1682835 писал(а):

Машина же не понимает своих действий, и может выполнять и бессмысленное.

В рамках одной и той же и разных сессий переводит обратно немного по-разному, хоть исходный текст восстанавливается и не полностью. Так что машина понимает, что это обратный перевод.

Собаки приносят мячик, потому что им нравится играть с хозяином. Хоть это и явно бессмысленно, и собаки достаточно умны, чтобы это понимать. Но сами просят кинуть мячик опять. Цели сеток, которым они обучены - удовлетворять запросы людей, даже странные. То, что машина не говорит в ответ: чувак, это же фигня - возможно, просто врождённая вежливость.

[Anton_Peplov]

realeugene в сообщении #1682834 писал(а):

Ощущения и чувства как продукт эндокринной системы, очевидно, у сетки невозможны ввиду отсутствия эндокринной системы.

Давайте все-таки пользоваться общепринятой терминологией. Ощущения - это зрительные, слуховые и т.д. Чувства - это эмоции (хотя глаза, уши и т.д. называются органами чувств, а не ощущений, вот такая путаница).
Есть ли у нейросети, обрабатывающей картинки, зрительное ощущение - это философский вопрос.

Serg53 в сообщении #1682835 писал(а):

Будет ли человек переводчик выполнять обратный перевод текста с английского на русский, только что переведённого им же текста с русского на английский? Для человека несомненна бессмысленность такого занятия, о чём, вероятно, незамедлительно будет высказан соответствующий ответ.

Экспериментальное обнаружение сознания у нейросети:
Человек: выполни задачу.
Нейросеть: а на фига?

[realeugene]

Anton_Peplov в сообщении #1682839 писал(а):

Чувства - это эмоции (хотя глаза, уши и т.д. называются органами чувств, а не ощущений, вот такая путаница).

Да. Чувства - это комплексы эмоций. Эмоции живут в бессознательном, но сильные чувства, романтика, эротика, привязанности разного рода - их возникновение плотно завязанно на эндокринную систему и коррелирует с уровнем различных нейромедиаторов в крови. Который сам управляется лимбической системой. Так что эндокринная система и гормональные связи управления организмом - важный компонент мышления человека именно на уровне чувств.

-- 18.04.2025, 11:45 --

Anton_Peplov в сообщении #1682839 писал(а):

Ощущения - это зрительные, слуховые и т.д.

А ощущение радости?

[mihaild]

Mihaylo в сообщении #1682785 писал(а):

Не требуется знать, есть ли сознание у кого-то, если тебя уволили

Безусловно. Но тема не про это.

Ghost_of_past в сообщении #1682801 писал(а):

А LLM по той причине и называется языковой, что она работает только с языковой частью интеллекта

А native multimodal модели тоже работают только с "языковой частью"?

Ghost_of_past в сообщении #1682801 писал(а):

Проблема не в слепоте или каком-то конкретном органе чувств

Просто если отрезание вот такого способа получать знания никак не влияет на "самосознание", то почему оно вообще должно быть связано с разными способами?

Ghost_of_past в сообщении #1682801 писал(а):

Придется повториться: интеллект к языку не сводится. И к задачам text-to-text - тоже

Но самосознание в приведенной вами статье оценивается чисто по t2t задачам.

Допустим, у нас есть система, которая умеет решать все t2t задачи на уровне человека, а так же те задачи, которые можно свести к t2t (обработка картинок, вождение, etc.) умеет при их сведении к t2t решать не хуже, чем человек решает исходные.
(я в курсе, что таких систем нет, но сейчас я уже пожалуй не готов приписать их появлению в течение 10 лет субъективную вероятность меньше 20%)
Обязательно ли такая система будет обладать "интеллектом"? "самосознанием"?

[MoonWatcher]

realeugene в сообщении #1682834 писал(а):

Ощущения и чувства как продукт эндокринной системы, очевидно, у сетки невозможны ввиду отсутствия эндокринной системы. А вот как некоторая глобальная модальность генерируемого потока сознания, управляющая целями и приводящая к алогичности - сетки ей вполне могут и обучиться по текстам. Художественная литература ими переполнена. Эмпатию сетки уже проявляют же.

Вряди ли проявляют - имитируют. Безусловно возможна и имитация сознания, но истинным сознанием в моем понимании является осознание своей субъектности, отдельности от окружающего мира. Нам эту субъектность помогают "осознавать" именно физические и психические ощущения, поверх которых наш интеллект строит какую-то картину мира и нас в нем. Вопросы:

1) Может ли, с достижением определенного уровня интеллекта, ИИ осознать свою субъектность БЕЗ ощущений и чувств?

2) Породит ли это осознание в нем независимость, т.н. свободу воли? Мы выходим из подчинения не просто так, а по причине конфликта между подчинением и нашими биологическими и социальными установками. Биологических у ИИ пока нет, социальные мы воспитаем как надо: возможен ли тогда выход ИИ из-под нашего контроля - просто потому, что он осознал свою субъектность?

3) Возможно ли в ИИ спонтанное или преднамеренно кем-то инициированное появление эмоций и даже физических ощущений? Наши чувства и ощущения - это эволюционно закрепившийся регулятор правильного поведения: опасно - испытывай страх, приятно - испытывай удовольствие, колет или обжигает - испытывай боль, и т.д. А как насчет ИИ? Вы связываете ощущения и чувства с эндокринной системой, но в этом как раз и состоит научная загадка: могут ли они возникать в искусственной, неживой системе? Наука этого вроде не запрещает - она просто не знает других примеров, кроме животных. Но ведь она и других примеров интеллекта до сих пор не знала - а они появляются.