Так Game Over или нет?

[Webpack]

Профессор Оксфорда и ученый по ИИ компании DeepMind Nando de Freitas заявил про ИИ: «Game Over. Теперь дело в масштабировании».

https://www.ai-everything.com/Post.aspx?ID=7244

Значит алгоритм сильного ИИ готов? Разработчикам ИИ больше нечего делать в плане совершенствования ИИ, а компаниям надо скупать процессоры для запуска ИИ со все большим числом нейронов. GPT-5 запланирован на конец 2023 г., в нем будет в десятки раз больше нейронов и в сотни раз больше связей между ними, чем в GPT-4, что позволит выявлять закономерности, совершенно недоступные человеку, это будет даже не AGI, а ASI. Больше нейронов - умнее ИИ.

[Утундрий]

Моё невероятно экспертное мнение: понятия не имею, но не удивлюсь, если да.

[mihaild]

Это статья годовой давности.
У архитекутры GPT4 есть проблемы, которые могут оказаться существенными - она не может, условно говоря, читать текст, делать по мере прочтения заметки, а потом возвращаться как к заметкам, так и к тексту. Сведения про GPT5 - придумки недобросовестных журналистов, ни в каких надежных источниках ничего сказано не было.
И даже если вопрос в масштабировании, это не снимает вопроса эффективности. Например число синапсов в мозгу примерно $2^{47}$, а (не разреженные) сети умеем обучать с примерно $2^{40}$ параметрами, и это очень сложно - просто взять и поставить в 100 раз больше машин не получится.

[Webpack]

Пишут про квадратичную сложность механизма Attention, совершившего прорыв в ИИ. Поставят в миллион раз больше машин, догонят и перегонят мозг, кто сейчас на машинах то экономит. Он и так прекрасно масштабируется, время между версиями GPT тратится на закупку машин и тестирование в закрытом режиме, возможно GPT-5 уже готов, GPT-4 тестировали 8 месяцев. Промышленность не успевает выпускать столько машин сколько требуется ИИ. Следующий шаг - ИИ будет сам повышать свою эффективность. Что-нибудь круче Attention придумает - с линейной сложностью. Так и наступит сингулярность.

[mihaild]

Webpack в сообщении #1600056 писал(а):

Поставят в миллион раз больше машин, догонят и перегонят мозг, кто сейчас на машинах то экономит

Во-первых, не доказано.
Во-вторых, обучение GPT4 обошлось в сто миллионов долларов. Где инвестора на нужную сумму найдете?

Webpack в сообщении #1600056 писал(а):

Он и так прекрасно масштабируется

А Вы вообще читаете ответы?

Webpack в сообщении #1600056 писал(а):

просто взять и поставить в 100 раз больше машин не получится

Webpack в сообщении #1600056 писал(а):

возможно GPT-5 уже готов

Webpack в сообщении #1600056 писал(а):

Промышленность не успевает выпускать столько машин сколько требуется ИИ

Так уже готов, или не успевают выпустить железо?
И просьба либо привести подтверждение информации про GPT5, либо перестать спекулировать.

Webpack в сообщении #1600056 писал(а):

Следующий шаг - ИИ будет сам повышать свою эффективность

Совершенно не факт, что этого можно достигнуть на текущей архитектуре. Наверняка никто не знает, но есть ИМХО довольно серьезные причины считать, что нельзя.

[Aritaborian]

mihaild в сообщении #1600058 писал(а):

Во-вторых, обучение GPT4 обошлось в сто миллионов долларов. Где инвестора на нужную сумму найдете?

Конкретно эти слова — слабое возражение. В мире хватет людей, способных вложить в это дело миллиарды, если увидят перспективу.

[mihaild]

Aritaborian в сообщении #1600059 писал(а):

В мире хватет людей, способных вложить в это дело миллиарды

Там предлагалось в миллион раз. Инвесторов, способных вложить сто триллионов, в мире нет.

[Webpack]

Сто миллионов на GPT-4 небольшие деньги для Илона Маска и Билла Гейтса. В принципе они могут позволить себе и триллионы потратить, отказавшись от других проектов и накопленного состояния.

-- 06.07.2023, 12:45 --

mihaild в сообщении #1600058 писал(а):

Webpack в сообщении #1600056 писал(а):

Следующий шаг - ИИ будет сам повышать свою эффективность

Совершенно не факт, что этого можно достигнуть на текущей архитектуре. Наверняка никто не знает, но есть ИМХО довольно серьезные причины считать, что нельзя.

ИИ умеет программировать и представляет собой программу. Что принципиально мешает дать ИИ возможность менять собственный код?

-- 06.07.2023, 12:48 --

mihaild в сообщении #1600063 писал(а):

Aritaborian в сообщении #1600059 писал(а):

В мире хватет людей, способных вложить в это дело миллиарды

Там предлагалось в миллион раз. Инвесторов, способных вложить сто триллионов, в мире нет.

Не об этом речь в начале шла. А о том, готов ли совершенный алгоритм ИИ. Весьма серьёзный человек, вращающийся в этой сфере, говорит, что готов.

[mihaild]

Webpack в сообщении #1600089 писал(а):

В принципе они могут позволить себе и триллионы потратить

Не могут. У них столько нет.

Webpack в сообщении #1600089 писал(а):

ИИ умеет программировать и представляет собой программу. Что принципиально мешает дать ИИ возможность менять собственный код?

То, что текущие модели очень плохо умеют программировать. И неизвестно, можно ли на текущей архитектуре сделать достаточно хорошо умеющий.
Я довольно сильно уверен, что рекурсивно самоусиливающийся ИИ возможен. Но из этого не следует, что он возможен на текущей архитектуре. Условно если для того, чтобы изобрести линейный attention нам нужен attention с контекстом $10^{10}$, то сделать квадратичную модель, которая сможет изобрести линейную, не получится.
Под "текущая архитектура" понимаются GPT4-подобные штуки, с контекстом в тысячи-младшие десятки тысяч токенов; есть статьи, где размер контекста увеличивается на порядки, про них у меня нет хороших представлений о принципиальных ограничениях.

Webpack в сообщении #1600089 писал(а):

Весьма серьёзный человек, вращающийся в этой сфере, говорит, что готов

А многие не менее серьезные люди говорят, что не готов.

[Webpack]

То, что ИИ не идеально программирует неважно. Не так уж и плохо. Генерирует сайты и бизнес-приложения под ключ. Решает олимпиадные задачи с сайтов по спортивному программированию. Пусть меняет себя как умеет. Авось что и получится. Целевой функцией выберем уменьшение числа нейронов.

[Sender]

Webpack в сообщении #1600099 писал(а):

Целевой функцией выберем уменьшение числа нейронов.

В таком случае оптимальным вариантом для этого ИИ будет просто самоликвидироваться.

[Webpack]

При сохранении уровня интеллекта по набору тестов. Приветствуется и повысить интеллект, удалив лишние нейроны.

[mihaild]

Webpack в сообщении #1600099 писал(а):

Пусть меняет себя как умеет. Авось что и получится.

На текущей архитектуре - не получается. И есть причины считать, что и не получится.

[Webpack]

mihaild в сообщении #1600054 писал(а):

Это статья годовой давности.
У архитекутры GPT4 есть проблемы, которые могут оказаться существенными - она не может, условно говоря, читать текст, делать по мере прочтения заметки, а потом возвращаться как к заметкам, так и к тексту.

Это легко реализует даже обыватель через диалог нескольких GPT.

[Webpack]

Перестройка всей полупроводниковой индустрии на выпуск нейронных процессоров. Цена увеличения размера нейронной сети упадёт на порядки. Окно в миллиард слов будет не страшно. Этой индустрией владеют люди, заинтересованные в быстром развитии ИИ.