Решение математических задач с помощью ChatGPT

[Djong]

Это первый Ваш пост

Цитата:

Ну вот, оказывается, ребятам из Гугла пришло в голову обрубить затраты памяти

Это второй

Цитата:

Ребята в прямом соревновании с LLAMA2 на таком же количестве данных и памяти показали, что их моделька валидируется быстрее и точнее.

И в каких-то давних Ваших сообщениях я видел ребят из (транснациональной корпорации N).

[mihaild]

MoonWatcher, стоит смотреть на ycombinator. В частности про эти две статьи там есть обсуждение. Общий вывод совпадает с моим первым впечатлением - ну да, сделали, но поводов считать каким-то прорывом пока не видно.

[Djong]

Рекурсия конечно удлиняет память ИИ, чем жёстко рубить окно памяти, лучше так. Что ИИ стал революционным сомнительно. RNN давно известны.

[Rasool]

На arxiv.org появилась такая статья: Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B: A Technical Report. Вот ее абстракт:

Цитата:

This paper introduces the MCT Self-Refine (MCTSr) algorithm, an innovative integration of Large Language Models (LLMs) with Monte Carlo Tree Search (MCTS), designed to enhance performance in complex mathematical reasoning tasks. Addressing the challenges of accuracy and reliability in LLMs, particularly in strategic and mathematical reasoning, MCTSr leverages systematic exploration and heuristic self-refine mechanisms to improve decision-making frameworks within LLMs. The algorithm constructs a Monte Carlo search tree through iterative processes of Selection, self-refine, self-evaluation, and Backpropagation, utilizing an improved Upper Confidence Bound (UCB) formula to optimize the exploration-exploitation balance. Extensive experiments demonstrate MCTSr’s efficacy in solving Olympiad-level mathematical problems, significantly improving success rates across multiple datasets, including GSM8K, GSM Hard, MATH, and Olympiad-level benchmarks, including Math Odyssey, AIME, and Olympiad-Bench. The study advances the application of LLMs in complex reasoning tasks and sets a foundation for future AI integration, enhancing decision-making accuracy and reliability in LLM-driven applications. Codes publicly accessible at github.com/trotsky1997/MathBlackBox

Google-перевод:

Цитата:

В этом документе представлен алгоритм самоуточнения MCT (MCTSr), инновационная интеграция моделей большого языка (LLM) с поиском по дереву Монте-Карло (MCTS), предназначенный для повышения производительности при выполнении сложных математических задач. Решая проблемы точности и надежности в LLM, особенно в стратегических и математических рассуждениях, MCTSr использует систематические исследования и эвристические механизмы самосовершенствования для улучшения структуры принятия решений в LLM. Алгоритм строит дерево поиска Монте-Карло посредством итеративных процессов выбора, самоуточнения, самооценки и обратного распространения ошибки, используя улучшенную формулу верхней доверительной границы (UCB) для оптимизации баланса разведки и эксплуатации. Обширные эксперименты демонстрируют эффективность MCTSr в решении математических задач олимпиадного уровня, значительно повышая показатели успеха в нескольких наборах данных, включая GSM8K, GSM Hard, MATH, а также в тестах олимпиадного уровня, включая Math Odyssey, AIME и Olympiad-Bench. Исследование продвигает применение LLM в сложных логических задачах и закладывает основу для будущей интеграции искусственного интеллекта, повышая точность и надежность принятия решений в приложениях, основанных на LLM.

[MoonWatcher]

Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

[Rasool]

MoonWatcher в сообщении #1654452 писал(а):

Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

Не исключено, что нейронные сети LLM+reasoning смогут в недалеком будущем использоваться для выкладок в научных работах?

[talash]

MoonWatcher в сообщении #1654452 писал(а):

Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

А что значит вышла, уже можно пользоваться, кто знает подробности?

[Rasool]

MoonWatcher в сообщении #1654452 писал(а):

Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

Интересно, на каких датасетах ее обучали?

[realeugene]

MoonWatcher в сообщении #1654452 писал(а):

Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

Так уже заявлено превосходство над PhD в физике.

Сколько можно купить годовых подписок на ChatGPT за годовую зарплату одного физика?

[MoonWatcher]

talash в сообщении #1654476 писал(а):

А что значит вышла, уже можно пользоваться, кто знает подробности?

Доступна пользователям платной подписки (ChatGPT Plus), но в пределах ограниченного количества сообщений в сутки (вроде бы 30). Бесплатным пользователям обещают в будущем o1 mini, которая по предварительным отзывам сильно хуже.

-- 15.09.2024, 21:29 --

realeugene в сообщении #1654504 писал(а):

Так уже заявлено превосходство над PhD в физике.

Сколько можно купить годовых подписок на ChatGPT за годовую зарплату одного физика?

Даже OpenAI подчеркивает, что o1 может решать отдельные задачи на уровне PhD, но не может заменить его. Предварительные отзывы в целом положительны, но модель продолжает периодически тупить даже в очень простых задачах. Это preview-версия, но даже с релизом полноценной o1 эта проблема наверняка сохранится. И значит как минимум ответы o1 придется перепроверять.

-- 15.09.2024, 21:30 --

Rasool в сообщении #1654475 писал(а):

Не исключено, что нейронные сети LLM+reasoning смогут в недалеком будущем использоваться для выкладок в научных работах?

Такая цель заявлена. Помимо отдельных разработок по якобы автоматизации научного процесса (как минимум написания научных статей).

[realeugene]

MoonWatcher в сообщении #1654797 писал(а):

Даже OpenAI подчеркивает, что o1 может решать отдельные задачи на уровне PhD, но не может заменить его. Предварительные отзывы в целом положительны, но модель продолжает периодически тупить даже в очень простых задачах.

Так и отдельные люди тупят и ошибаются. А толпа физиков уже гораздо реже. Преимущество ИИ в том, что он размножается гораздо проще, чем физики.

[talash]

realeugene в сообщении #1655085 писал(а):

Так и отдельные люди тупят и ошибаются. А толпа физиков уже гораздо реже. Преимущество ИИ в том, что он размножается гораздо проще, чем физики.

ИИ бывает тупит не по-человечески.
Вот пример с программерскими терминами, но думаю и не специалистам будет понятно как он затупил.

Цитата:

Я: как в команде гита merge --continue пропустить предкоммитные хуки?

ИИ: Чтобы пропустить предкоммитные хуки при выполнении команды git merge --continue, можно использовать опцию --no-verify. Эта опция отключает выполнение хуков.
Пример команды:
git merge --continue --no-verify

Однако, стоит отметить, что команда git merge --continue не принимает аргументы, поэтому вам нужно использовать git commit для завершения слияния без хуков

Тут ответ должен начинаться с "однако", а невалидный пример вовсе не нужен. Люди так не тупят.

[MoonWatcher]

Отсюда два вопроса:
1) Действительно ли LLM+reasoning тупит как-то особенно. Теоретически это вполне вероятно, посколько его интеллект работает иначе, но ИМХО тут есть о чем поспорить
2) Почему o1 допускает глупые ошибки несмотря на reasoning (явно задействованный, поскольку она думает несколько секунд), и почему такие глупые ошибки возможны при наличии явной способности решать гораздо более сложные задачи. Про людей можно сказать то же самое, но природа человеческого интеллекта вероятно изучена еще хуже, чем архитектура созданных человечеством LLM.