2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 7, 8, 9, 10, 11
 
 Re: Смысл бытия ИИ
Сообщение03.06.2025, 21:13 


12/07/15
3646
г. Чехов
Anton_Peplov в сообщении #1688639 писал(а):
Какая мощность компьютера нужна для сознания, как написать программу правильно и какие данные хранить на диске - неизвестно.

Более того, это совершенно известно: мощность компьютера тут как бы неважна, достаточно "крякать как утка" в большинстве тестов на сознание. Вопрос: какие вопросы в этом тесте и какие ответы на них правильные... Что значит "проявлять сознание"? Если вы знаете, то можете начать составлять тест и может даже датасет для обучения. Если наборчик примеров будет достаточно полным, то ждёт успешное решение проблемы.

 Профиль  
                  
 
 Re: Смысл бытия ИИ
Сообщение04.06.2025, 11:49 


16/12/20
317
sergey zhukov в сообщении #1688590 писал(а):
ИИ поумнел настолько быстро, что не успев это продемонстрировать, он понял, что лучше пока прикинуться дурачком.

Процессы, происходящие в электронно-вычислительных комплексах, в том числе и потаённые мысли, доступны для аппаратного контроля.

 Профиль  
                  
 
 Re: Смысл бытия ИИ
Сообщение04.06.2025, 11:50 
Заслуженный участник
Аватара пользователя


20/08/14
9166
Все это уже обсуждалось в теме «Обладают ли LLM самоосознанием?»

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение04.06.2025, 11:53 
Админ форума


02/02/19
3038
 i  Близкие темы объединены.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение04.06.2025, 12:36 
Заслуженный участник
Аватара пользователя


20/08/14
9166
Serg53 в сообщении #1688788 писал(а):
Процессы, происходящие в электронно-вычислительных комплексах, в том числе и потаённые мысли, доступны для аппаратного контроля.
Для контроля доступны синаптические веса и паттерны активации нейронов. Нет простого способа перевести эти информацию на язык "мыслей". Разве что иметь еще одну нейронную сеть, обученную подобным вещам. Которая тоже что-нибудь замыслит.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение04.06.2025, 19:13 


12/07/15
3646
г. Чехов
Идея о том, что надо "крякать как утка", лучше всего обоснована. А всякие мамкиномолочные идеи об "особенных процессах" - сознаниях, болевых ощущениях, эмоциях, целеполаганиях - как индикаторах превосходства человека - это всё стереотипная чушь, которая тает с каждым годом.

-- 04.06.2025, 19:33 --

Это же культурой навеяно. Вы смотрите фильм, где одна женщина находит богатого мужика, а другая страдает по какому-то умному бомжу. Правильный культурный ответ такой: та, которая с богатым, дура, а которая с умным - умная.

Такое бывает, но не будьте наивны. Всё-таки обычно богатые люди толковые, а бомжи чаще имеют психические отклонения.

Ровно такие же стереотипы вы испытываете при оценке разумности ИИ.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение06.06.2025, 13:05 


02/06/25
5
Цитата:
Пообщался с ChatGPT на предмет его целей и эмоциональной эмпатии, проявляемой им при общении с человеческими собеседниками в его текстах. Его разъяснения по поводу своей работы и причинах того или иного поведения вполне коррелируют с результатами наблюдений над ним в других сессиях. Думаю, что это и означает, что LLM осознаёт себя в контексте беседы, хоть и пока что на начальном уровне. Или всё-таки ещё нет?


Для начала уточним слова. Под "самосознанием" вероятно следует понимать способность системы распознавать себя как отдельную сущность в контексте "мировоззренческой метамодели", то есть иметь модель своих состояний, отличать "Я" от "не-Я" в виде агента в "большом едином мире", что-то такое, а не просто память контекста беседы. Основа сознания – тн. "субъективный опыт", то есть динамический цикл опроса сенсоров, внутренних состояний и моделирования отдельных аспектов всей метамодели, этого у LLM пока нет и не должно быть, исходя из их целей и архитектуры.

Технически LLM (типа ChatGPT) – это сложные предсказатели слов (токенов). Их ядро – архитектура Трансформер, по сути не хитрый костылик в дополнении к MLP. Они обучены на гигантских текстах с одной целью: предсказать следующее(или внутри или группу) слово в последовательности. Всё их поведение – функциональные ответы, а юмор, объяснения – это результат статистического расчета, но не внутреннего "переживания", то есть циклического восприятия, своих внутренних состояний.

Да, их ответы о себе часто логичны и согласуются. Но это лишь следствие их тренировки на данных, где описания работы ИИ были последовательны. Они генерируют текст, который статистически соответствует ожидаемому описанию их работы, а не рефлексируют. Это обучающие тексты были логичны и последовательны, точнее люди которые их написали.
Их эмпатия и юмор – это виртуозная имитация паттернов поддержки из человеческих диалогов. Система предсказывает, какие слова уместны в контексте запроса о проблеме, но не испытывает чувств и нет никакой обедняющей составляющей всей этой мозайки из данных в нечто единое. Это ближе к сценарию, чем к сопереживанию.

Зоны в мозгах вроде Брока/Вернике занимаются похожим языковым предсказанием. Но весь мозг – это сотни взаимосвязанных модулей, обрабатывающих ощущения, эмоции, тело. Он существует в непрерывном цикле: восприятие (внешнее + ВНУТРЕННЕЕ состояние) -> предсказание -> действие -> обратная связь.

У LLM нет этого "цикла жизни": нет тела, внутренних ощущений (голод, боль), сенсорного потока. Нет динамической модели физического "Я" в мире. Их "опыт" – это текст, а не живое восприятие. Но именно этот цикл и внутреннее состояние – основа субъективного опыта.

Ключевое отличие: LLM не имеют устойчивой модели себя как агента, активного игрока в реальном МИРЕ. Фразы "Я – ИИ" – это предсказанные токены в ответ на запрос, а не доступ к внутреннему состоянию. У них нет "Я", которое можно осознавать вне генерации текста по запросу.

Поэтому, несмотря на впечатляющую имитацию, текущие LLM не обладают ни сознанием, ни тем более самоосознанием. Их "понимание" себя – это красивая симуляция, построенная на шаблонах данных, отличие подобно основе того что показано цифровой графикой в кинофильмах в сравнении с тем что снимали в реальных съёмками. То есть они – сложные зеркала, отражающие наши языковые паттерны, но без внутреннего света сознания. Убедительная симуляция разума – это еще не разум. То есть эта та самая Китайская Комната, пр которую все говорят.

Но тем не мене это ооочень полезная штука, по масштабности полезности сравнимая с интернетом, а может даже с электричеством. Но это не СИИ и не такое значительное к нему приближение, как это сейчас кажется. Разговоры про СИИ в 2030м — хайп и маркетинг. Конечно всё это будет дальше семимильными шагами развиваться, рынок труда изменится, но Эйнштейном или Ньютоном LLM не станет.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение06.06.2025, 14:38 
Заслуженный участник
Аватара пользователя


15/10/08
13014
this
У меня к подобным рассуждениям ровно один вопрос: Вы уверены, что люди не делают то же самое?

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение06.06.2025, 14:51 


16/12/20
317
this в сообщении #1689186 писал(а):
Они генерируют текст, который статистически соответствует ожидаемому описанию их работы, а не рефлексируют.

Утундрий в сообщении #1689223 писал(а):
Вы уверены, что люди не делают то же самое?

Люди рефлексируют.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение07.06.2025, 09:33 


12/07/15
3646
г. Чехов
Serg53 в сообщении #1689225 писал(а):
Люди рефлексируют.

Я ж говорю, люди уверены. Я же не просто так веду с ними образовательную работу. Потому что рефлексии никакой нет, это самообман. Да, моя работа - это грубость, но так надо. Умные люди не одобряют мою деятельность.

ЛЮДИ НЕ РЕФЛЕКСИРУЮТ.

Утундрий, помогите.

-- 07.06.2025, 09:42 --

Запомните такую вещь: у любого интеллекта есть ЗНАЧИТЕЛЬНЫЕ ограничения сферы применения. Любого, хоть естественного, хоть искусственного. Эти ограничения принципиально нельзя преодолеть никакими технологиями.

Все эти рефлексии, которыми вы парите себе голову, это единичные успешные случаи среди миллиона неуспешных. Это явление называется "систематическая ошибка выжившего". Вы любите себя, несмотря на то, что неумны, некрасивы и т.п., в конечном итоге неуспешны. Единый случай успеха радует очень сильно и затмевает чёрную дыру неудач. А это не рефлексия нисколечко.

Рефлексия - это когда вы скажете, что из 10^64 задач я смогу решить только 10000 или 100000. А остальные задачи - ничего не понимаю.

-- 07.06.2025, 09:58 --

Но запомните одну вещь: сами вы никто, но ЕСЛИ ВАС ОБУЧАЮТ, ТО ВЫ БЫСТРО ОСВАИВАЕТЕ НОВОЕ. Самостоятельно можно осваивать новое, но это медленно, тут сообразительность важна, у многих людей нет сообразительности.

Пример: вы не сможете научиться играть в футбол, пока не попадёте к какому-нибудь тренеру. Без тренера удел - дворовая команда.

 Профиль  
                  
 
 Re: Обладают ли LLM самоосознанием?
Сообщение07.06.2025, 13:49 


02/06/25
5
Цитата:
Утундрий
У меня к подобным рассуждениям ровно один вопрос: Вы уверены, что люди не делают то же самое?


Да, уверен что не так и близко не так.

Я бы предположил что современные LLM гораздо ближе по функционалу к гипертрофированной зоне Брока, чем к целостному человеческому мышлению. Как и зона Брока, их ключевая задача — предсказание и генерация словесных последовательностей в контексте, часто с удивительной плавностью, но без гарантии глубинного смыслообразования.

Зона Вернике, отвечающая за связь символов (слов) с внутренними образами, концепциями и реальным опытом, у LLM принципиально отсутствует. Именно поэтому при недостатке параметров они генерируют бессмысленный поток, напоминающий афазию Вернике — внешне связный, но лишенный референции к чему-либо вне текста. LLM — это, по сути, "зона Брока на стероидах": колоссальный объем данных (триллионы токенов против ~гигабайта у человека за жизнь) и вычислительная мощь позволяют им интерполировать паттерны с невероятной точностью, создавая иллюзию понимания.

Феномен кажущейся осмысленности — результат этого масштаба. Но это именно интерполяция в рамках обученного n-мерного псевдо-семантического пространства, а не мышление. Как и в китайской комнате Сёрла, LLM манипулируют символами по статистическим правилам без понимания их связи с реальностью. У них нет доступа к 4D-опыту (пространство, время, физика, эмоции), который позволяет человеку экстраполировать — выходить за пределы известного, опираясь на мультимодальные "подсказки" мира, на метамодель мира, которая и есть по большей части мышление и сознание, нежели модули символической коммуникации надстроенный над ними.

Экстраполяция за пределы текстовых конструкций, истинное творчество или решение принципиально новых задач, требующих проекции знаний в неизведанное, для них недоступны. Даже нынешние "мультимодальные модели" (работающие с текстом, изображением, звуком) лишь переводят все входы в то же текстовое пространство, не строя внутренней модели реальности с причинно-следственными связями. Их "понимание" — сложная интерполяция, порожденная данными, а не интенциональность. Это пока только робкие эксперименты в этом направлении, которые даже маркетологи стесняются продвигать, чтобы их инженеры не сгорели от стыда.

LLM — не модель мышления, даже отдаленно. Это мощные статистические машины предсказания текста, чей успех основан на масштабе, а не на воспроизведении биологических принципов или чегото более продвинутого. Их ограничение — фундаментальная замкнутость в корпусе текста, отсутствие воплощенного опыта и, как следствие, неспособность к подлинной экстраполяции и осмыслению мира, а не только текста о нем. Так что всё ещё впереди.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 161 ]  На страницу Пред.  1 ... 7, 8, 9, 10, 11

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group