Человеческое мышление vs. LLM

[Mikhail_K]

Ende
Выделено из темы «ИИ и перспективы математики и математического образования»

Rak so dna в сообщении #1724718 писал(а):

Ну лично у меня язык не повернётся называть угадывание следующего слова мышлением.

Чем человеческое мышление принципиально отличается от угадывания следующего слова?
В человеческом мозге, очевидно, есть некий генератор мыслей, причём следующие мысли должны быть как-то увязаны с предыдущими и с внешними сигналами. И этот генератор обучается на опыте.
Ну и у LLM всё так же. Кстати, обучение продолжению текста на данных со всего интернета ("угадыванию следующего слова") - это, строго говоря, первый этап при обучении LLM (дети и ученики тоже вначале обучаются с помощью подражания). Затем модель дообучают, и это самый главный этап, позволяющий ей давать экспертные ответы. То, что получается, в каком-то смысле можно всё равно назвать "угадыванием следующего слова", если понимать под угадыванием генерацию, которая скорее всего приведёт к желаемому результату, а не просто выбор наиболее часто встречаемого продолжения. Но в таком смысле и человеческий мозг тоже "угадывает" каждую следующую мысль.

[Rak so dna]

Mikhail_K в сообщении #1724721 писал(а):

Чем человеческое мышление принципиально отличается от угадывания следующего слова?

Я не знаю как работает человеческое мышление, но очень надеюсь, что не так.

[Anton_Peplov]

Rak so dna в сообщении #1724723 писал(а):

Я не знаю как работает человеческое мышление, но очень надеюсь, что не так.

Самое краткое представление о работе нейросетей-трансформеров можно получить из книги: С. Марков. Охота на электроовец. Большая книга искусственного интеллекта, Гл. 6, п. 6.3.3.5 Вторая революция в NLP. Вот характерная цитата оттуда:

Цитата:

Рассмотрим для примера предложение: «Люди одиноки, потому что вместо мостов они строят стены». Кто такие в данном случае «они»? Человек, прочитавший это предложение, без особого труда понимает, что в данном случае слово «они» относится к слову «люди». Можно сказать, что у нас в голове возникает представление о наличии определённого отношения (в данном случае — тождества) между словами «они» и «люди». Другое отношение связывает слова «они» и «строят», а также «люди» и «строят» — это отношения вида «A выполняет действие B». И так далее — слова в высказывании связаны определёнными отношениями. Идея multi-headed self-attention заключается в том, чтобы для разных типов отношений (за каждый из них отвечает отдельная «голова» сети внимания, так же, как в свёрточной сети за каждый выявляемый слоем свёртки признак отвечает отдельный набор весов для свёрточного ядра) рассчитать матрицу выравниваний, то есть для каждой пары слов в предложении выяснить, в какой мере выражено для неё данное отношение.

Есть ли в механизме, описанном в этом абзаце, что-либо, представляющиеся Вам недостойным человека?

Мышление человека изучено еще недостаточно, чтобы говорить о нем с таким уровнем детализации. Самый изученный когнитивный процесс - зрение. Не будем говорить про глаз и таламус, поговорим про кору. У человека пять зон зрительной коры. Сначала информация попадает в первичную зрительную кору ($V_1$). Основная функция $V_1$ - обработка линий. Каждый нейрон, ответственный за восприятие линий, воспринимает лишь линии определенной ориентации: вертикальные, горизонтальные или наклонные. За это открытие в 1981 г. получена Нобелевская премия. Кроме того, обнаружены клетки, ответственные за восприятие округлых форм и острых углов. Это часть ответа на вопрос, откуда в нашем мозге берутся абстрактные категории – «прямой», «вертикальный» и т.д. Нейроны $V_1$ сохраняют геометрическую связь с изображением, так что повреждение нижней части $V_1$ приводит к утрате верхней части поля зрения (в силу перевернутости изображения на сетчатке). Зоны $V_2$ и $V_3$ отвечают в основном за дорисовывание недостающих линий, когда мы видим только часть предмета; зона $V_4$ - за восприятие цвета, а $V_5$ - движения. Структура зрительной коры послужила прототипом сверточных нейронных сетей, преуспевших в распознавании изображений.

Есть ли в этом описании что-либо, представляющиеся Вам недостойным человека? Я просто хотел бы убедиться, что высокое достоинство человека и таинство интеллектуального труда не исчезают, как только мы понимаем, как это работает под капотом.

[Rak so dna]

Anton_Peplov в сообщении #1724728 писал(а):

Мышление человека изучено еще недостаточно

Ну вот когда изучите достаточно, тогда и будете ёрничать.

[realeugene]

Rak so dna в сообщении #1724723 писал(а):

Я не знаю как работает человеческое мышление, но очень надеюсь, что не так.

Судя по рассказам нейробиологов, похоже, что оно работает именно так. Человеческий мозг на всех своих уровнях постоянно выдвигает и корректирует гипотезы. Он развился как машина для предсказания.

[b4b5]

Машина по моделированию. Следствие: машина по предсказанию.

[realeugene]

b4b5 в сообщении #1724758 писал(а):

Машина по моделированию. Следствие: машина по предсказанию.

Нет, именно по предсказанию. Мозг на всех уровеях пострянно пытается предсказывать. Видимо потому, что тех, кто предсказывал недостатрчно хорошо, давно съели.

[b4b5]

realeugene Я рассуждаю так. ) Предсказание осуществляется с помощью моделей. А чем/как иначе? И, соответственно, машина по моделированию.

[Sender]

b4b5 в сообщении #1724761 писал(а):

Предсказание осуществляется с помощью моделей. А чем/как иначе?

С помощью обратной связи. Получается машина по обратному связыванию.

[ozheredov]

realeugene в сообщении #1724756 писал(а):

Человеческий мозг... развился как машина для предсказания.

b4b5 в сообщении #1724758 писал(а):

Машина по моделированию.

realeugene в сообщении #1724760 писал(а):

нет, именно по предсказанию. Мозг на всех уровеях пострянно пытается предсказывать. Видимо потому, что тех, кто предсказывал недостатрчно хорошо, давно съели.

Предсказывает человеческий мозг из рук вон плохо: он видит в данных закономерности, которых нет, и в упор не видит тех, которые есть. При вбитые в башку (прочитанной книгой, воспитанием, ...) паттерны поведения не вымываются самыми бурными потоками данных, явным образом указывающих на неоптимальность паттерна - например, куча ученых в 90-е продолжила заниматься наукой за гроши (ударение на последний слог), когда реальность какбе намекала, что надо идти воровать или на худой конец кодить за еду. Исторически человек скорее принципиальное существо, нежели адаптивное. Почему же его не съели?

b4b5 в сообщении #1724761 писал(а):

Предсказание осуществляется с помощью моделей. А чем/как иначе?

Sender в сообщении #1724768 писал(а):

С помощью обратной связи. Получается машина по обратному связыванию.

Для этого машина должна устойчиво управляться по каналу обратной связи. Это уже предполагает наличие достаточно универсальной априорной модели, связывающей наблюдения на $i$-том и $(i+1)$-м шаге.

[realeugene]

ozheredov в сообщении #1724770 писал(а):

При вбитые в башку (прочитанной книгой, воспитанием, ...) паттерны поведения не вымываются самыми бурными потоками данных, явным образом указывающих на неоптимальность паттерна - например, куча ученых в 90-е продолжила заниматься наукой за гроши (ударение на последний слог), когда реальность какбе намекала, что надо идти воровать или на худой конец кодить за еду.

Естественный отбор работает в среднем. Многие из этих учёных вышли из детородного возраста.

-- добавлено через 1 минуту --

ozheredov в сообщении #1724770 писал(а):

Предсказывает человеческий мозг из рук вон плохо: он видит в данных закономерности, которых нет, и в упор не видит тех, которые есть.

Но лучше, чем другие животные.

[ozheredov]

realeugene в сообщении #1724777 писал(а):

Естественный отбор работает в среднем. Многие из этих учёных вышли из детородного возраста.

Согласен, пример с учёными неудачный. Однако мой фейл заставил меня задуматься, и знаете что? Как ни парадоксально, в детородном и пред-детородном возрасте эта, скажем так, анти-адаптивность и проявляется. А с возрастом как раз идёт на спад. В юности ты симпуешь (SYMP), гоняясь за одной-единственной (mediocre) девкой, которая на тебя плюёт, и даже полностью игноришь более красивых и перспективных, которые с тобой не прочь (anecdotal evedence, да). Некоторые (которые не я, не-не-не) по молодости готовы вступать в экстремистские организации, чисто из убеждений, а не потому что рассчитывают что-то урвать. Понятно, что с $p=0.99$ их там того, и как правило так и происходит. В общем (наблюдение за собой и за знакомыми) бушующие гормоны сильно ухудшают скилл предсказания. Даже не в том смысле, что ты чё-то там не можешь предугадать, а просто ты, как зомби, хочешь вот это и именно это, и тебе тупо плевать на последствия. А по идее должно быть наоборот: до "климакса" или как там его ты Ванга, а потом как пойдёт.

[dsge]

realeugene в сообщении #1724777 писал(а):

Многие из этих учёных вышли из детородного возраста.

Cреди них (учёных) и мужчины встречаются.

[realeugene]

dsge в сообщении #1724794 писал(а):

Cреди них (учёных) и мужчины встречаются.

Мужской климакс тоже существует. Да и какой процент пожилых учёных заводят себе новых молодых жён?

[mihaild]

realeugene в сообщении #1724777 писал(а):

Но лучше, чем другие животные

Это в первую очередь потому что люди лучше друг за другом повторяют. Картинка из "The secret of our success" (там, кстати, Хенрич критикует мою любимую гипотезу макиавеллевского интеллекта) - сравнение детей в возрасте примерно двух с половиной лет со взрослыми обезьянами на разных когнитивных тестах.

Вложение:

Screenshot_20260523_212243.png