Будущие перспективы ИИ (возможно, 4-я волна ИИ)

[SomePupil]

Утундрий в сообщении #1619325 писал(а):

Муск за него вписался, так что пощадят. Но создадут невыносимые условия и где-то через полгода он сам тихо и мирно уволится.

Извините, Вы не ответили, куда пойдет Илья Суцкевер? Он вернется в гугл?!

[Rasool]

Rasool в сообщении #1619320 писал(а):

Sam Altman вернулся в OpenAI.

Интересная статья Голубицкого "Сэм Альтман и кликуши апокалипсиса" на эту тему.

[MoonWatcher]

Rasool в сообщении #1617891 писал(а):

На SmartDev-2023 говорилось о том, что дальнейший прогресс в области искусственных сетей уперся в стену, например, современные нейросети не заточены под математические операции, логические рассуждения, планирование и т.д.

А кто конкретно это говорил? Судя по последним слухам (основанным в т.ч. на научных работах, я писал в соседней теме), у т.н. моделей вознаграждения с контролем процесса есть хорошие перспективы - и не только в математике. Если выгорит, то с их помощью можно будет решать любые научные проблемы вообще. В этом случае следующая волна ИИ коснется науки вообще - с её помощью будут совершены новые научные открытия и изобретения. Конечно далеко не факт, но шансы есть.

[Rasool]

Пока в отношении вычислительных структур действует закон Мура. Означает ли это, что прогресс в области искусственного интеллекта будет продолжаться и многие возможности, которые сейчас заключены в ChatGPT, со временем будут доступны и другим производителям ИИ-техники?

[Утундрий]

Ширина контактов сейчас достигает считанных десятков атомов. Прикиньте сами, сколько ещё будет держаться экспоненциальный рост.

[Rasool]

Утундрий в сообщении #1645403 писал(а):

Ширина контактов сейчас достигает считанных десятков атомов. Прикиньте сами, сколько ещё будет держаться экспоненциальный рост.

То есть по крайней мере в области "железа" ИИ ждет затык?

[Утундрий]

Если не придумают что-то принципиально новое, то да.

[Rasool]

Значит, ChatGPT, локально размещенном в карманном смартфоне, мы так и не дождемся.

[mustitz]

Rasool в сообщении #1617891 писал(а):

Так называемая "третья волна ИИ" исчерпала себя, нужно ждать прихода "четвертой волны"?

ИМХО, исчерпалась не третья волна ИИ, если мы говорим о LLM, исчерпались халявные наборы данных для обучения. Если мы говорим про рассуждения, то они по большей частью достаточно логичны и более полны. Да, есть проблемы с техникой, но как раз теническую работу должен выполнять другой движок. Например, если нам надо сложить два числа, то для нейросети нет никакой проблемы на вопрос "Сколько будет 1163208157 поделить на 115249?" Сгенерировать что-то вроде <? echo 1163208157 / 115249?>. В принципе к тому оно идёт, уже ChatGPT генерирует скрипт на Python, и уже потом использует его результат, там есть что-то вроде анализ

Используется синтаксис Python

# Calculating the result of the division of 1163208157 by 115249
result = 1163208157 / 115249
result
 

llama-3-70b-instruct тоже выдаёт верный результат

Цитата:

Чтобы найти результат деления, я могу помочь вам с расчетом.

1163208157 ÷ 115249 = 10093

Ответ: 10093.

command-r пытается угадать

Цитата:

1163208157/115249 = 10.085934444444445

И таких вот улучшений можно придумать на все случаи жизни, вопрос тут больше упирается в то, что нет соответствующего обучающего набора.

А так, все математические книги перевести на условный CoQ, скормить всё LLM и решить все проблемы тысечеления... Ну... сейчас для меня это техническая задача, скоро должны увидеть.

[Mihaylo]

Чтобы осознавать перспективы ИИ, следует понимать, что возможности любого интеллекта ограничены его кругозором.

С другой стороны, машины в отличие от человека более контролируемы в обучении, а еще вкусняшка - далее "опыт" можно просто тупо копировать. То есть можно выучить неплохую машину, а потом её можно растиражировать. Например, выучили кандидата наук - вот вам их миллион, пожалуйста. Я наивно вам толкую, но это не выглядит самообманом. Как учёные выучиваются? По книжкам. Все книги уже в обороте.

[ozheredov]

Mihaylo в сообщении #1646390 писал(а):

Как учёные выучиваются? По книжкам.

НетЪ. Учёные выучиваются через обратную связь с задачами, преподами, и коллегами. Огромную роль в этом играют софт-скиллы - умение "дожимать" одни задачи и вовремя отказываться от решения других (о том, как отличать задачи первого типа от задач второго, в книжках ничего путного не говорится - всё только через собственный опыт). Умение убедить науч-рука в том, что надо брать меня, а не того Васю. Умение выбрать тему "в струе" и быстро вкатиться в эту тему. Умение писать статьи так, чтобы рецензент понял её примерно на 75% (большее понимание означает, что статья примитивна и у нее нет научной ценности, меньшее понимание - что статья не по профилю, то же касается докладов на конференциях).

Mihaylo в сообщении #1646390 писал(а):

машины в отличие от человека более контролируемы в обучении

Кто-то научился визуализировать рельеф целевой функции в пространстве размерности миллиард и видеть, в какой из триллионов локальных минимумов скатилась оптимизационная процедура?

[Mihaylo]

ozheredov в сообщении #1646411 писал(а):

Кто-то научился визуализировать рельеф целевой функции в пространстве размерности миллиард и видеть, в какой из триллионов локальных минимумов скатилась оптимизационная процедура?

Нет, к этому никто не смог приблизиться в отношении человека.

-- 15.07.2024, 22:03 --

ozheredov в сообщении #1646411 писал(а):

всё только через собственный опыт

Да, только через собственный опыт. Которого нет. Его надо где-то брать.

[ozheredov]

Mihaylo в сообщении #1646413 писал(а):

Его надо где-то брать.

Я не очень представляю, откуда брать соотв. обучающую выборку. Если в случае человекоподобных роботов можно взять тучу рабов, навесить на них датчики и заставить с ними бегать-прыгать-стрелять, то с софт-скилами такое явно не прокатит.

[Mihaylo]

Софт-скиллы переоценены. Ты можешь подкатывать яйца к профессору, а толку? Профессор сам тебя выбирает за способности. Он не тупой. Поэтому где-то надо поднакопить опыт и, конечно же, желание.