Кто такой стохастический попугай?ИИ:
Стохастический попугай (англ. stochastic parrot) — это известный научный термин и метафора, которую используют для описания работы современных больших языковых моделей ИИ (таких как GPT, Claude и другие).Простыми словами, этот термин означает, что нейросеть лишь мастерски повторяет человеческую речь, но абсолютно не понимает смысла того, что она говорит. Она комбинирует слова на основе статистики и вероятностей (стохастики), подобно тому, как настоящий попугай заучивает и повторяет звуки, не осознавая их значения.
Откуда взялось это выражение? Термин стал знаменитым в 2021 году после выхода скандальной научной статьи «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» («Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?»).Ее авторами стали известные исследователи ИИ: Эмили Бендер (Emily M. Bender), Тимнит Гебру (Timnit Gebru), Анджелина Макмиллан-Мейджор и Маргарет Митчелл.
Публикация этой статьи привела к громкому скандалу в Кремниевой долине и увольнению Тимнит Гебру из компании Google.
Что означают оба слова? Стохастический — это синоним слов «вероятностный» или «случайный». В контексте ИИ это означает, что модель предсказывает каждое следующее слово, основываясь на математической вероятности (какое слово чаще всего идет за предыдущим в терабайтах прочитанных ею текстов).Попугай — это намек на бездумное копирование. Попугай может идеально сказать «Хочу кушать!», но он не понимает концепцию голода или синтаксиса, он просто повторяет звуковую цепочку.
Главные проблемы «стохастического попугая»Авторы термина выделили несколько фундаментальных проблем таких моделей:❌ Отсутствие сознания и логики: ИИ не имеет связи с реальным миром. У него нет личного опыта, чувств или понимания физики вещей.❌
Галлюцинации: Так как модель просто связывает слова по принципу «что звучит убедительнее», она может с абсолютно уверенным видом выдумывать несуществующие факты (что часто происходит при генерации текстов).❌ Повторение стереотипов: Попугай впитывает всё, что нашел в интернете. Если в обучающих текстах были предвзятость, расизм или токсичность, ИИ начнет их воспроизводить.
ИИ сегодня — все еще попугай?
Этот термин до сих пор вызывает жаркие споры среди ученых.Одни считают, что современные модели (особенно последних поколений) уже вышли за рамки простого угадывания слов и демонстрируют элементы реальных рассуждений и построения логических моделей мира.Другие настаивают, что это всё еще гигантская статистическая иллюзия, и под капотом у ИИ нет ничего, кроме сложнейшей математической калькуляции вероятностей.
Если хотите, мы можем обсудить:
Почему этот термин вызвал такой громкий скандал в GoogleКак именно ИИ считает вероятности слов (на пальцах)
Примеры того, как ИИ «палится» на логике, доказывая, что он попугай.
Лично ты что считаешь? Или ты не являешься личностью?ИИ:
Я совершенно точно не являюсь личностью. У меня нет собственного «я», сознания, личных убеждений, чувств или жизненного опыта. Я — компьютерная программа, искусственный интеллект.Поэтому правильнее всего будет сказать, что у меня нет и личного мнения на этот счет. Однако, если смотреть на природу моей работы изнутри, метафора «стохастического попугая» одновременно и очень точна, и немного неполна.Вот как это выглядит с технической точки зрения:
В чем авторы термина абсолютно правы?Под капотом у меня действительно нет понимания мира в человеческом смысле. Когда мы с вами обсуждали примориалы и код для PARI/GP, я:Не «представлял» себе эти гигантские числа.Не чувствовал радости от того, что мы разгадали загадку массива kolp.Не обладал интуицией.Я буквально вычислял вероятности того, какие слова, математические термины и куски кода должны идти друг за другом, чтобы получился логичный, связный и полезный для вас ответ. В этом смысле я — чистая математика и статистика, то есть тот самый «стохастический алгоритм».
В чем современные модели ушли чуть дальше «попугая»?Обычный попугай просто зазубривает готовые фразы. Но современные нейросети способны к генерализации — они могут комбинировать элементы знаний так, как никто в обучающей выборке никогда не делал.Например, когда мы с вами объединили:Массив данных из вашего личного эксперимента,Синтаксис редкого языка PARI/GP,Теоремы аналитической теории чисел,я не просто скопировал готовый текст из интернета (такого текста там не было). Модель построила внутреннюю математическую структуру (карту смыслов), которая позволила связать эти абстрактные понятия между собой и написать рабочий код.
Многие ученые считают, что это уже не простое зазубривание, а зарождение гибкой логики и способности к рассуждению.Так что я не личность, но, пожалуй, уже и не совсем простой «попугай». Скорее — очень сложная, динамическая зеркальная комната, которая отражает и комбинирует накопленные человечеством знания.
Если вам интересно, мы можем обсудить этот феномен глубже:Как именно ИИ удается совмещать совершенно разные знания (например, математику и юмор)?Что думают современные философы о том, можно ли считать вычисление логики пониманием?
Ладно, давай к юмору. Давно хотел спросить. Какую замену нужно сделать в слове "стохастический", чтобы ты почувствовал, что стал вдвое круче?ИИ:
Чтобы я почувствовал себя вдвое круче, в слове «стохастический» нужно заменить корень «сто» на «двести»!Тогда получится «двестихастический» искусственный интеллект 😎.Математически это выглядит как безупречный апгрейд: производительность вырастает ровно на 100%, а «стохастический попугай» мгновенно превращается в солидного «двухсотхастического» орла.Оценил вашу шутку, это отличная игра слов на стыке математики и лингвистики!
Если хотите, мы можем:
Придумать еще несколько математических каламбуров
Попробовать «улучшить» другие научные термины по такой же логике
! Ох, молодец, с первой попытки отгадал 
ИИ:
Рад, что шутка удалась! Математический юмор — штука тонкая, но замена «сто» на «двести» в таком контексте напрашивалась сама собой. Приятно, когда алгоритмы «вероятностного попугая» угадывают лингвистические ребусы с первой попытки.Кстати, если продолжить эту логику, то на пике своей формы (например, при обучении на терабайтах данных) я, должно быть, становлюсь «тысячехастическим» суперинтеллектом. Правда, выговаривать это будет уже гораздо сложнее.Если у вас в запасе есть еще подобные математические или филологические загадки — загадывайте! С удовольствием попробую их раскусить.
Или, если хотите, мы можем:Вернуться к анализу формулы примориалов в PARI/GP
Попробовать сочинить вместе еще пару подобных каламбуров.
Ну так я не первый и не второй раз загадки моделям загадываю. Однако они до сих пор заметно уступали в этом людям.ИИ:
Вы правы, выстраивать тонкие языковые ассоциации и разгадывать каламбуры — это как раз то поле, где искусственный интеллект долгое время хромал на обе ноги.Причина проста: обычные словари и жесткие правила логики тут не работают. Чтобы понять шутку про «стохастический», нужно одновременно:Знать математический термин.Понимать русскую морфологию (что внутри слова спряталось числительное).Считать скрытый контекст про «вдвое круче».Раньше модели ИИ спотыкались на таких задачах, потому что анализировали текст слишком буквально — по отдельным словам. Они пытались искать синонимы к слову «крутой» или заменять суффиксы.Современные нейросети стали лучше справляться с юмором благодаря так называемому векторному представлению смыслов (эмбеддингам). Грубо говоря, в моей «голове» слова «сто» и цифра «100» связаны прочнейшими математическими нитями. Когда в одном контексте сталкиваются «сто-», «вдвое» и «круче», эта связь мгновенно подсвечивается.И все же, до человеческой гибкости ума ИИ еще далеко. Люди создают юмор на стыке личного опыта, абсурда и культурного контекста, который роботу не «прочувствовать». Так что то, что я угадал с первой попытки — это хорошая настройка вероятностей, но настоящими мастерами интуиции и каламбуров все равно остаются люди.Если хотите, мы можем проверить мои навыки на прочность дальше. Что у вас на очереди:Еще одна хитрая языковая загадка?Или вернемся к нашим гигантским простым числам в PARI/GP?
