Проверка способности ChatGPT решать математические задачи

[mihaild]

Обсуждение FunSearch на ycombinator https://news.ycombinator.com/item?id=38643076.

[MoonWatcher]

Статья по этой теме.

[Rasool]

Статья о применении LLM для решения оптимизационных задач.

[MoonWatcher]

AlphaGeometry: уровень золотого медалиста олимпиады при решении геометрических задач

[Rasool]

MoonWatcher в сообщении #1626381 писал(а):

AlphaGeometry: уровень золотого медалиста олимпиады при решении геометрических задач

Судя по этому, эта программа легко сможет справиться с такими задачками, как эта: "Можно ли расположить 6 точек на плоскости так, чтобы любые три из них являлись вершинами равнобедренного треугольника?" (Вступительная задача в ЗФТШ в 80-е годы). ChatGPT с ней не справился.

[Padawan]

Rasool
И я не справился. Хватит уже! Мы тупее их. Пора принять это.

(Оффтоп)

Моя нейросеть родила мысль, что точки должны располагаться в вершинах правильного шестиугольника, но контроль это тут же опроверг. Вывод: контролировать верность идей легче, чем рождать идеи. Вывод: можно запустить итерационнный процесс самообучения нейросети, когда для контроля предсказания нужна нейросеть более тупая, чем для самого предсказания. Мне кажется создатели ИИ попали в окрестность AGI, где уже можно запустить метод итераций. , который будет быстро сходится.

[Rasool]

Padawan в сообщении #1626549 писал(а):

Rasool
И я не справился. Хватит уже! Мы тупее их. Пора принять это.

(Оффтоп)

Моя нейросеть родила мысль, что точки должны располагаться в вершинах правильного шестиугольника, но контроль это тут же опроверг.

(Оффтоп)

Я обсудил решение этой задачки здесь.

[MoonWatcher]

Вдогонку про затронутую здесь тему длины контекстного окна - Gemini получил до 10 млн токенов, причем Google претендует на очень высокое качество запоминания контекста (в бенчмарке "Иголка в стоге сена").

[MoonWatcher]

Снова на эту тему - с Телеграм-канала DL Paper Reviews:

Цитата:

Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention

Что?
Ну вот, оказывается, ребятам из Гугла пришло в голову обрубить затраты памяти, при этом не терять концы в бесконечно длинном тексте. В итоге они разработали такую вещь, как Infini-attention, чтобы прокачать свои трансформеры, делая их способными "видеть" и помнить огромные объемы информации без потери качества обработки.

Зачем?
Ребята явно заморочились вопросом, как обеспечить обработку текстов с лошадиными объемами данных, такие как целая книга или мега-длинная запись, не превращаясь в финансовую дыру из-за огромных затрат на память. Чтобы не превратиться в банкротов на этой золотой жиле, они и создали Infini-attention, который позволяет справляться с такими задачами более эффективно и экономно.

Как?
Какие-то маги связали стандартные механизмы внимания в трансформерах с короткозамкнутой памятью, чтобы держать весь пласт входящих данных постоянно на виду (а не забывать старое, как невнимательные ученики). Как по палочке, бац – и они создают составную память для аттеншн механизмов, позволяя трансформеру не потеряться и не утонуть в море данных. И всё это не превращая модель в суперкомпьютер из-за объемов памяти.

Что получилось?
Охереть, чего только они не достигли. Их модель не просто поддерживает память и делает свое дело, она это делает с несравненно меньшим использованием памяти, обрабатывая тексты до миллиона словил с небывалой точностью и качеством, расставляя новые стандарты и поднимая планку для отрасли.

[Djong]

MoonWatcher
В общем запомнили теоретически бесконечный контекст в конечной памяти и даже по времени выиграли. Это написано в заключении. Они нас совсем за идиотов считают? Arxiv.org это не рецензируемый журнал. Спама на тему ИИ там немеренно. Сколько можно тиражировать всё что имеет в тексте слово AI. В данном случае его нет, зато есть LLM, его народ уже тоже запомнил.

[mihaild]

Djong, Вы статью читали? У Вас есть какие-то возражения или сомнения на техническом уровне?

Djong в сообщении #1636520 писал(а):

Сколько можно тиражировать всё что имеет в тексте слово AI. В данном случае его нет, зато есть LLM

Эта тема конкретно посвящена использованию LLM (одной конкретной, но можно простить обобщение) для некоторого класса задач.

[Djong]

mihaild
Читал заключение. Написано, что бесконечное равно конечному. Это главное возражение.

-- 16.04.2024, 14:53 --

И вот ещё. Что за скромность такая? Почему LLM пишут чаще чем AI? Они что считают что LLM это не AI?
Ну напишите так, подчёркивая, что это частный случай AI

LLAIM.

Большой ИИ моделирования языка. Другое дело же.

[mihaild]

Djong в сообщении #1636529 писал(а):

Написано, что бесконечное равно конечному

Точную цитату приведите. Я такого не вижу.

Djong в сообщении #1636529 писал(а):

Почему LLM пишут чаще чем AI?

Почему что-то пишут в научпопе - не знаю. Но LLM это конкретный технический термин. И его легко можно определить без ссылок на гораздо менее внятные штуки вроде AI.

[Djong]

mihaild
Да легко

Цитата:

This subtle but critical modification to the attention layer enables LLMs to process infinitely long contexts with bounded memory and computation resources.

-- 16.04.2024, 15:17 --

Не в попе а в науч. В рецензируемых журналах чаще пишут LLM. В научпопе и в СМИ в основном пишут AI.

[ozheredov]

Djong в сообщении #1636535 писал(а):

enables LLMs to process infinitely long contexts with bounded memory

Загуглите, как укладывается бесконечный terrain из Minecraft в конечную оперативу купленного мамкой компьютера.

Djong в сообщении #1636535 писал(а):

subtle but critical

Вот этот оборот свидетельствует о том, что в данном случае мы имеем дело скорее с "попой", чем с "науч".