Я не разделяю такой оптимизм. LLM в виде трансформеров – хороши, но они шаг к ASI не больший чем CNN, только для текста. Масштабирование и костыли тут не помогут достичь прорыва. 5-20 лет это про очень продвинутый инструментальный ИИ, по большей части дальнейшее масштабирование LLM, разные гибриды и их внедрение во всё.
Это, как говорится, вопрос на
миллион триллион долларов. Я как-то
поднимал эту тему. Насколько я знаю, сейчас уже мало кто верит, что LLM достаточно. Илья Суцкевер, который несколько лет назад вроде бы допускал создание AGI через масштабирование LLM, несмотря на головокружительные успехи LLM в бенчмарках, в своем интервью на днях говорил о наступлении очередной стадии исследований. О необходимости новых концептуальных прорывов говорили и Ян Лекун (традиционный противник LLM), и Демис Хассабис. Но все трое на этот счет настроены вполне оптимистично - см. выше про их датировки.
Вопреки наивному мнению некоторых скептиков, что все усилия идут на LLM, это ни разу не так. Google, OpenAI, Anthropic, xAI и т.д. возглавляют не идиоты - они понимают, что как минимум есть немалая вероятность, что LLM - тупиковое направление. И при своих огромных расходах они конечно же выделяют миллиарды долларов (а больше их лаборатории скорее всего и не переварят) на альтернативные концепции. Поэтому интересные идеи рождают как гиганты (вроде Google с Nested Learning), так и перспективные стартапы (вроде Sakana AI с Continuous Thought Machines). Это касается и вложений в огромные дата-центры - они не только нужны для LLM, но и пригодятся к реализации идей, которым нужна огромная вычислительная мощь.
Я бы назвал ключевой точкой бифуркации, когда ИИ начнёт сам себя писать хотя бы на уровне людей. ИМХО технически, это на много проще чем все эти танцы с бубном про сенсорный опыт человека, world model и тп. по крайней мере в виде датасетов. Всё внутри железа, код пишет код, я думаю такая система и вовсе не обязана знать про наш 4д-мир, физику химию, социум и тп. Но не факт
Звучит как противоречие предыдущему тезису. ИИ, который будет хорошо писать свой программный код и при этом не имеет т.н. spatial intelligence - это скорее про LLM, нет? Сейчас трендом становится упор на обучение ИИ закономерностям нашего физического, а не только книжного мира - как в интересах робототехники, так и с заделом на AGI (World Labs и другие стартапы).