Будущие перспективы ИИ (возможно, 4-я волна ИИ)

[MoonWatcher]

Главная задача, разумеется - это AGI/ASI. Но тот же Сэм Альтман заявляет, что к созданию AGI подошли уже довольно близко. И чего следует, что нужны критерии для оценки степени соответствия ИИ этому понятию. Например, необходимым, но недостаточным бенчмарком для этих целей считался AGI-ACI - и он пройден. Вопрос в том какой бенчмарк мог бы стать не только необходимым, но и достаточным. Или может быть никакой бенчмарк не способен служить критерием соответствия уровню человека, а следует просто нагружать ИИ работой, которую выполняют люди.

[MoonWatcher]

Ende
Выделено из темы «О возможности заменить программистов на ИИ»

this в сообщении #1688502 писал(а):

И вот тогда появятся новые программисты.

Вполне вероятно, что они не успеют появится. Вы говорите о современном состоянии ИИ - а он не стоит на месте. Насколько я понимаю, сейчас вырисовываются следующие тенденции в ИИ:
1) традиционное масштабирование
2) растущая роль RL
3) эволюция (e.g. AlphaEvolve) и автоэволюция (e.g. машина Дарвина-Гёделя)
4) альтернативные подходы - в частности, оперирование сущностями, а не токенами (e.g. JEPA).

Никаких признаков кризиса или хотя бы стагнации не наблюдается - напротив, каждый месяц выходят обновленные модели с улучшенными результатами в бенчмарках и перспективные теоретические работы. В этом смысле возможности ИИ будут становиться все более комплексными и автономными. И получив задание, по результатам мозгового штурма своим MoE, ИИ будет делать даже не то, что заказчик написал в задании, а то, что он в действительности хочет. Звучит не более невероятно чем прогресс, который случился за последние пару лет. Что конечно не отменяет кризиса и стагнации в случае, если будут исчерпаны нынешние идеи, а новые не появятся.

[Anton_Peplov]

MoonWatcher в сообщении #1688599 писал(а):

Что конечно не отменяет кризиса и стагнации в случае, если будут исчерпаны нынешние идеи, а новые не появятся.

Помимо идей, для развития отрасли нужны вычислительные мощности и обучающие данные. Даже если бы все идеи, положенные в основу нынешних LLM, уже были известны в 1990 г., не было ни достаточно мощных процессоров, ни достаточного объема оцифрованных текстов, чтобы проверить и применить эти идеи.

Наверняка мы еще не все выжали из доступных вычислительных мощностей и данных. Но в ближайшие 10-20 лет развитие LLM может упереться в аппаратный барьер. С данными проще, ибо контент продолжает расти, в том числе узкоспециализированный (научные статьи, юридические документы, программный код).

[MoonWatcher]

Здесь тоже имеется повод для оптимизма:
1) фотонные процессоры (e.g. Lightmatter), обеспечивающие масштабирование с большой скоростью при низком энергопотреблении
2) нейроморфные процессоры, которые аппаратно воспроизводят специфику ИНС
3) оптимизация самих моделей (за счет дистилляции и прочего).

Неизвестно каким приростом вычислительной мощности будет сопровождаться прогресс в обучении ИИ, но это явно не главное направление. Насколько я понимаю, много вычислительной мощности потребуется для инференса, когда над какой-то сложной задачей надо размышлять часы, дни, недели или даже месяцы.

[rockclimber]

Anton_Peplov в сообщении #1688606 писал(а):

Наверняка мы еще не все выжали из доступных вычислительных мощностей и данных.

Это, мне кажется, очевидно - у нас есть пример нашего собственного мозга, который способен учиться на гораздо меньшем материале и, если я правильно понимаю, с гораздо меньшими затратами энергии. Так что я бы ожидал появление намного более эффективных нейросетей. Непонятно только, когда их ждать.

Anton_Peplov в сообщении #1688606 писал(а):

Но в ближайшие 10-20 лет развитие LLM может упереться в аппаратный барьер.

Сэм Альтман вроде бы недавно жаловался, что его нейросеть больше не на чем учить - ей уже скормили весь доступный интернет. Так что мы уже уперлись в барьер, только немного другого рода. И этот барьер, имхо, будет похуже нехватки мощностей.

-- 03.06.2025, 18:51 --

this в сообщении #1688701 писал(а):

Если ИИ начинает выдавливать программистов — то юристов, бухгалтеров, врачей, консультантов, проджект-менеджеров он начнёт давить в два раза быстрее.

Врачей вычеркивайте. Очень многие врачи работают руками, тут ИИ недостаточно, еще и физический робот нужен.

this в сообщении #1688701 писал(а):

Политики и юристы точно запретят себя заменять

У вас какой-то иррациональный страх перед юристами. В этом предложении их лучше заменить на бюрократов. Эти ребята точно кого хочешь пересидят.

[Ghost_of_past]

(Оффтоп)

this в сообщении #1688701 писал(а):

всё медным тазом накроется, богатые всё себе заберут, будут кайфовать, а бедные будут страдать, в резервациях как звери, их будут от ИИ держать также далеко как от ядерного оружия, для подстраховки запретят высшее образование и доступ в сеть ограничат, только соцсети и тикток, ничего более, я думаю к этому идёт.

Как вижу, тема скатилась уже совсем до откровенной ерунды. Весело.

[Anton_Peplov]

rockclimber в сообщении #1688719 писал(а):

у нас есть пример нашего собственного мозга, который способен учиться на гораздо меньшем материале

Говоря об обучении людей, следует различать овладение знанием и овладение навыком. Понимание естественного языка, рисование, символьное вычисление интегралов в элементарных функциях - это навыки. Эти навыки человек осваивает уж точно на меньших обучающих выборках, чем LLM. Обучающую выборку, которую скормили GPT-4, человек и за всю жизнь не прочитает. С другой стороны, по объему знаний LLM превосходит человека на порядки.

rockclimber в сообщении #1688719 писал(а):

и, если я правильно понимаю, с гораздо меньшими затратами энергии

Энергии нынешние LLM хапают порядочно. Отсюда:

Цитата:

The training runs for current generation models that are comparable to GPT-4o13 consumed around 20-25 megawatts of power each, lasting around three months.

Но если пересчитывать на объем знаний, то еще вопрос, кто энергоэффективнее. Сколько обедов нужно съесть человеку, чтобы выучить практически наизусть "Войну и мир"?

Можно ли сделать ИИ энергоэффективнее? Да, конечно. Для этого нужны более энергоэффективные компьютеры. И над этим работают.

К слову, в человеческом мозге порядка 100 трлн синапсов. У GPT-4, если не ошибаюсь, на два порядка меньше. Так что в каком-то смысле мозг больше как нейросеть. С другой стороны, мозг делится на специализированные зоны. Языковую модель нужно сравнивать с речевыми и ассоциативными зонами коры, а не с мозгом в целом.

rockclimber в сообщении #1688719 писал(а):

Сэм Альтман вроде бы недавно жаловался, что его нейросеть больше не на чем учить - ей уже скормили весь доступный интернет. Так что мы уже уперлись в барьер, только немного другого рода. И этот барьер, имхо, будет похуже нехватки мощностей.

Пусть Сэм Альтман немного подождет. С 1950-х годов количество публикаций по физическим, техническим, биологическим и медицинским наукам удваивается каждые 14 лет.

(Подробности)

В статье (Bornmann, 2021) проведен анализ темпов роста числа научных публикаций по физическим, техническим, биологическим и медицинским наукам с использованием крупнейших баз данных. Авторы пришли к выводу, что вместо единой экспоненты или логистической кривой данные лучше всего характеризуются четырьмя экспонентами, характеризующими четыре фазы роста науки.

Фаза 1: 1675–1809 гг., с возникновения современной физики до окончания наполеоновских войн, доиндустриальный период. Характеризуется ежегодным ростом в 2,87% и временем удвоения 24,5 года.

Фаза 2: промышленная революция (1815–1882 гг.). На этом этапе наука росла очень быстро: ежегодные темпы роста составляли 5,62%, а период удвоения составлял 12,6 лет.

Фаза 3: 1881–1952 гг. Революции, войны, экономические кризисы. Характеризуется годовыми темпами роста 3,78% и временем удвоения 18,7 лет.

Фаза 4: Послевоенный период (с 1952 года по сегодняшний день). Характеризуется годовыми темпами роста 5,08% и временем удвоения 14,0 лет.

Bornmann, L., Haunschild, R. & Mutz, R. Growth rates of modern science: a latent piecewise growth curve approach to model publication numbers from established and new literature databases. Humanit Soc Sci Commun 8, 224 (2021). https://doi.org/10.1057/s41599-021-00903-w

Данных по доступному в интернете программному коду у меня нет, но подозреваю, что рост тоже экспоненциальный. Если же ему сгодится контент соцсетей, то все совсем хорошо.

[Mihaylo]

Я сегодня обучал нового сотрудника, который занимался электромонтажом коттеджной и квартирной проводки, а нам требуется электромонтажник для работы с более сложными схемами. И я понял одну такую вещь... Она связана с тем, что о чём-то можно говорить, думать и рассуждать в широком смысле и одновременно в узком смысле.
Если ты говоришь в широком смысле, то твои речи могут быть правдивы в большинстве случаев. Если ты говоришь узком смысле, то ты чаще ошибаешься.

Примеры:
1. В широком смысле. "Ошибка возникает потому, что вы допустили короткое замыкание в схеме". В узком смысле. "Ошибка возникает из-за того, что вы перепутали плюс с минусом на реле K1".
2. В широком смысле. "Провода надо маркировать так, чтобы была однозначная визуальная идентификация". В узком смысле. "Провода нулевые [в квартирах] можно не маркировать, так как они имеют цветовую идентификацию голубым цветом, которая однозначно идентифицируется".

В общем, широкий смысл хорош правдивостью, но вреден непрактичностью. Узкий смысл более практичен, но может быть неверен.

Нынешние LLM меня лично раздражают своим "широким смыслом", непрактичностью. Ты можешь спрашивать LLM про то, как тебе сделать защиту от копирования прошивки из чипа, он тебе соберёт все варианты, не заморачиваясь на то, что ты работаешь в Arduino IDE, а не в Platformio. Широкий смысл предполагает обобщение большого числа вариантов, а на деле нужно думать на таком уровне, чтобы лучше всего соответствовать запросу.
Да, мы ленимся хорошо формулировать запросы, чтобы вводить LLM на нужный уровень диалога. Но пускай будет режим диалога. Если ответ LLM слишком обширный, то пускай сперва она задаст наводящие вопросы. Долой эти портянки текста от LLM!

Если ты инспектор Ростехнадзора, то важно делать более общие формулировки. Если ты квартирный электромонтажник, то нужно попроще отвечать, в более узком смысле. LLM должна адаптироваться под уровень.

[Ende]

Близкие темы объединены.

[Ende]

Фантазии о замене правительств и правителей на ИИ, сопровождающиеся политическими оценками, удалены во избежание флейма. Настоятельная просьба принять во внимание, что обсуждение политики на форуме запрещено.