2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14, 15  След.
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.04.2024, 16:06 


15/04/24

79
Это первый Ваш пост
Цитата:
Ну вот, оказывается, ребятам из Гугла пришло в голову обрубить затраты памяти


Это второй
Цитата:
Ребята в прямом соревновании с LLAMA2 на таком же количестве данных и памяти показали, что их моделька валидируется быстрее и точнее.


И в каких-то давних Ваших сообщениях я видел ребят из (транснациональной корпорации N).

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.04.2024, 17:31 
Заслуженный участник
Аватара пользователя


16/07/14
9166
Цюрих
MoonWatcher, стоит смотреть на ycombinator. В частности про эти две статьи там есть обсуждение. Общий вывод совпадает с моим первым впечатлением - ну да, сделали, но поводов считать каким-то прорывом пока не видно.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.04.2024, 21:07 


15/04/24

79
Рекурсия конечно удлиняет память ИИ, чем жёстко рубить окно памяти, лучше так. Что ИИ стал революционным сомнительно. RNN давно известны.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение19.06.2024, 00:36 


20/09/09
2044
Уфа
На arxiv.org появилась такая статья: Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B: A Technical Report. Вот ее абстракт:
Цитата:
This paper introduces the MCT Self-Refine (MCTSr) algorithm, an innovative integration of Large Language Models (LLMs) with Monte Carlo Tree Search (MCTS), designed to enhance performance in complex mathematical reasoning tasks. Addressing the challenges of accuracy and reliability in LLMs, particularly in strategic and mathematical reasoning, MCTSr leverages systematic exploration and heuristic self-refine mechanisms to improve decision-making frameworks within LLMs. The algorithm constructs a Monte Carlo search tree through iterative processes of Selection, self-refine, self-evaluation, and Backpropagation, utilizing an improved Upper Confidence Bound (UCB) formula to optimize the exploration-exploitation balance. Extensive experiments demonstrate MCTSr’s efficacy in solving Olympiad-level mathematical problems, significantly improving success rates across multiple datasets, including GSM8K, GSM Hard, MATH, and Olympiad-level benchmarks, including Math Odyssey, AIME, and Olympiad-Bench. The study advances the application of LLMs in complex reasoning tasks and sets a foundation for future AI integration, enhancing decision-making accuracy and reliability in LLM-driven applications. Codes publicly accessible at github.com/trotsky1997/MathBlackBox

Google-перевод:
Цитата:
В этом документе представлен алгоритм самоуточнения MCT (MCTSr), инновационная интеграция моделей большого языка (LLM) с поиском по дереву Монте-Карло (MCTS), предназначенный для повышения производительности при выполнении сложных математических задач. Решая проблемы точности и надежности в LLM, особенно в стратегических и математических рассуждениях, MCTSr использует систематические исследования и эвристические механизмы самосовершенствования для улучшения структуры принятия решений в LLM. Алгоритм строит дерево поиска Монте-Карло посредством итеративных процессов выбора, самоуточнения, самооценки и обратного распространения ошибки, используя улучшенную формулу верхней доверительной границы (UCB) для оптимизации баланса разведки и эксплуатации. Обширные эксперименты демонстрируют эффективность MCTSr в решении математических задач олимпиадного уровня, значительно повышая показатели успеха в нескольких наборах данных, включая GSM8K, GSM Hard, MATH, а также в тестах олимпиадного уровня, включая Math Odyssey, AIME и Olympiad-Bench. Исследование продвигает применение LLM в сложных логических задачах и закладывает основу для будущей интеграции искусственного интеллекта, повышая точность и надежность принятия решений в приложениях, основанных на LLM.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение13.09.2024, 01:42 
Аватара пользователя


17/10/22
367
Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение13.09.2024, 15:27 


20/09/09
2044
Уфа
MoonWatcher в сообщении #1654452 писал(а):
Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

Не исключено, что нейронные сети LLM+reasoning смогут в недалеком будущем использоваться для выкладок в научных работах?

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение13.09.2024, 15:27 


01/09/14
534
MoonWatcher в сообщении #1654452 писал(а):
Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

А что значит вышла, уже можно пользоваться, кто знает подробности?

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение13.09.2024, 16:33 


20/09/09
2044
Уфа
MoonWatcher в сообщении #1654452 писал(а):
Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.

Интересно, на каких датасетах ее обучали?

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение13.09.2024, 19:11 


27/08/16
10286
MoonWatcher в сообщении #1654452 писал(а):
Вышла o1 (LLM+reasoning) - в школьной олимпиаде США по математике набирает 83% против 13% у GPT-4o. Это уровень 500 самых лучших школьников США.
Так уже заявлено превосходство над PhD в физике.

Сколько можно купить годовых подписок на ChatGPT за годовую зарплату одного физика?

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение15.09.2024, 21:23 
Аватара пользователя


17/10/22
367
talash в сообщении #1654476 писал(а):
А что значит вышла, уже можно пользоваться, кто знает подробности?

Доступна пользователям платной подписки (ChatGPT Plus), но в пределах ограниченного количества сообщений в сутки (вроде бы 30). Бесплатным пользователям обещают в будущем o1 mini, которая по предварительным отзывам сильно хуже.

-- 15.09.2024, 21:29 --

realeugene в сообщении #1654504 писал(а):
Так уже заявлено превосходство над PhD в физике.

Сколько можно купить годовых подписок на ChatGPT за годовую зарплату одного физика?

Даже OpenAI подчеркивает, что o1 может решать отдельные задачи на уровне PhD, но не может заменить его. Предварительные отзывы в целом положительны, но модель продолжает периодически тупить даже в очень простых задачах. Это preview-версия, но даже с релизом полноценной o1 эта проблема наверняка сохранится. И значит как минимум ответы o1 придется перепроверять.

-- 15.09.2024, 21:30 --

Rasool в сообщении #1654475 писал(а):
Не исключено, что нейронные сети LLM+reasoning смогут в недалеком будущем использоваться для выкладок в научных работах?

Такая цель заявлена. Помимо отдельных разработок по якобы автоматизации научного процесса (как минимум написания научных статей).

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.09.2024, 11:27 


27/08/16
10286
MoonWatcher в сообщении #1654797 писал(а):
Даже OpenAI подчеркивает, что o1 может решать отдельные задачи на уровне PhD, но не может заменить его. Предварительные отзывы в целом положительны, но модель продолжает периодически тупить даже в очень простых задачах.
Так и отдельные люди тупят и ошибаются. А толпа физиков уже гораздо реже. Преимущество ИИ в том, что он размножается гораздо проще, чем физики.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.09.2024, 12:06 


01/09/14
534
realeugene в сообщении #1655085 писал(а):
Так и отдельные люди тупят и ошибаются. А толпа физиков уже гораздо реже. Преимущество ИИ в том, что он размножается гораздо проще, чем физики.

ИИ бывает тупит не по-человечески.
Вот пример с программерскими терминами, но думаю и не специалистам будет понятно как он затупил.
Цитата:
Я: как в команде гита merge --continue пропустить предкоммитные хуки?

ИИ: Чтобы пропустить предкоммитные хуки при выполнении команды git merge --continue, можно использовать опцию --no-verify. Эта опция отключает выполнение хуков.
Пример команды:
git merge --continue --no-verify

Однако, стоит отметить, что команда git merge --continue не принимает аргументы, поэтому вам нужно использовать git commit для завершения слияния без хуков

Тут ответ должен начинаться с "однако", а невалидный пример вовсе не нужен. Люди так не тупят.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение17.09.2024, 12:53 
Аватара пользователя


17/10/22
367
Отсюда два вопроса:
1) Действительно ли LLM+reasoning тупит как-то особенно. Теоретически это вполне вероятно, посколько его интеллект работает иначе, но ИМХО тут есть о чем поспорить
2) Почему o1 допускает глупые ошибки несмотря на reasoning (явно задействованный, поскольку она думает несколько секунд), и почему такие глупые ошибки возможны при наличии явной способности решать гораздо более сложные задачи. Про людей можно сказать то же самое, но природа человеческого интеллекта вероятно изучена еще хуже, чем архитектура созданных человечеством LLM.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение08.11.2024, 21:33 


20/09/09
2044
Уфа
Я повторно задал вступительную задачку из ЗФТШ ChatGPT 4o mini: Можно ли расположить на плоскости шесть точек так, чтобы любые три из них были вершинами равнобедренного треугольника?
ChatGPT ответил:
Цитата:
Нет, на плоскости невозможно расположить шесть точек так, чтобы любые три из них были вершинами равнобедренного треугольника.
Для доказательства рассмотрим основные факты и ограничения, связанные с этим условием.
Равнобедренный треугольник имеет два равных боковых ребра. Это означает, что для каждой тройки точек, из которых составляется треугольник, два из них должны быть одинаково удалены от третьей точки (или располагаться симметрично относительно оси, проходящей через эту третью точку).
Для того, чтобы любой выбор трех точек был вершинами равнобедренного треугольника, эти точки должны быть устроены так, чтобы все возможные комбинации трех точек удовлетворяли симметричности и равенству расстояний между точками.
Однако, для шести точек на плоскости таких конфигураций нет. Обычно при попытке расположить шесть точек, удовлетворяющих этому условию, возникают противоречия, поскольку для каждой тройки точек требуется особое симметричное расположение, которое невозможно реализовать для всех возможных троек в случае шести точек.
Рассмотрим несколько частных случаев:
Если попытаться расположить шесть точек, скажем, в окружности, то не все тройки будут равнобедренными, так как для некоторых троек расстояния между точками не могут быть одинаковыми.
Если расположить точки на прямой или в другом простом геометрическом виде, также не удается удовлетворить требованию равнобедренности для всех троек.
Таким образом, общим результатом является то, что такое расположение невозможно на плоскости.

Тогда я задал такой вопрос:
Можно ли расположить на плоскости пять точек так, чтобы любые три из них были вершинами равнобедренного треугольника?
ChatGPT ответил:
Цитата:
Да, возможно расположить на плоскости пять точек так, чтобы любые три из них были вершинами равнобедренного треугольника. Это можно сделать, если расположить точки в регулярном пятиугольнике.
Обоснование:
Регулярный пятиугольник имеет пять равных сторон и одинаковые углы между соседними сторонами. Если мы выберем любые три вершины этого пятиугольника, то они будут располагаться так, что отрезки, соединяющие каждую пару этих вершин, будут либо равными, либо симметричными относительно центра пятиугольника.
Равнобедренность треугольников: Когда три вершины выбраны из пятиугольника, можно заметить, что треугольник всегда будет равнобедренным. Например, если взять две соседние вершины и одну противоположную, то эти две стороны будут равны, поскольку пятиугольник симметричен относительно его центра.
Таким образом, в регулярном пятиугольнике любые три точки, выбранные из его вершин, всегда будут образовывать равнобедренный треугольник, так как симметрия фигуры гарантирует одинаковые расстояния между выбранными точками.
Пример:
Допустим, мы расположим пять точек на окружности (в вершинах правильного пятиугольника). Тогда для любых трех точек из этих пяти, соединяя их отрезками, всегда будут выполнены условия равнобедренности (например, для тройки, состоящей из соседних вершин и одной противоположной, стороны будут равны).
Таким образом, ответ на ваш вопрос: да, можно расположить пять точек так, чтобы любые три из них были вершинами равнобедренного треугольника, если эти точки расположены в вершинах правильного пятиугольника.

Тогда я задал такой вопрос:
А если шестую точку расположить в центре окружности, а пять - на окружности, то можно ли расположить на плоскости шесть точек так, чтобы любые три из них были вершинами равнобедренного треугольника?
ChatGPT ответил:
Цитата:
Да, можно расположить шесть точек на плоскости так, чтобы любые три из них были вершинами равнобедренного треугольника, если пять точек расположены на окружности в вершинах правильного пятиугольника, а шестая точка находится в центре этой окружности.
Доказательство:
Предположим, что у нас есть окружность, на которой расположены пять точек в вершинах правильного пятиугольника. Назовем эти точки A1, A2, A3, A4, A5. Шестую точку O можно расположить в центре этой окружности.
Анализ:
Треугольники, состоящие из трех точек на окружности:
Любые три точки из пяти на окружности образуют равнобедренный треугольник. Дело в том, что все они находятся на одной окружности, а расстояния между соседними точками одинаковы, так что два ребра треугольника всегда будут равными. Например, если взять точки A1, A2 и A3, то стороны A1 A2 и A2 A3 будут одинаковыми, и треугольник A1A2A3 будет равнобедренным.
Треугольники, состоящие из двух точек на окружности и одной точки в центре:
Если выбрать точку в центре окружности (обозначим её O) и две точки на окружности (например, A1 и A2), то треугольник OA1A2 тоже будет равнобедренным. Это потому, что отрезки OA1 и OA2 равны (так как все радиусы окружности одинаковы).
Треугольники, состоящие только из трех точек в центре:
Мы не рассматриваем такие треугольники, потому что в центре может быть только одна точка.
Таким образом, для любой тройки точек, выбранной из A1,A2,A3,A4,A5,O треугольник будет равнобедренным.
Заключение:
Это расположение точек (пять на окружности, одна в центре) удовлетворяет условию задачи. Для каждой тройки точек на плоскости, они будут вершинами равнобедренного треугольника. Следовательно, да, шесть точек можно расположить так, чтобы любые три из них образовывали равнобедренный треугольник.

Значит, можно ли расположить на плоскости шесть точек так, чтобы любые три из них были вершинами равнобедренного треугольника?
ChatGPT ответил:
Цитата:
Да, на плоскости действительно можно расположить шесть точек так, чтобы любые три из них были вершинами равнобедренного треугольника, если пять точек расположены в вершинах правильного пятиугольника, а шестая точка — в центре этой окружности.

Доказательство он привел такое же, что и выше.

 Профиль  
                  
 
 Re: Решение математических задач с помощью ChatGPT
Сообщение08.11.2024, 23:19 


21/12/16
814
Mikhail_K в сообщении #1578512 писал(а):
Ну так вот - настоящие математики принципиально от этих двоечников и троечников ничем не отличаются - а значит, и от нейросетей. При решении сложной задачи на каждом шаге интуиция подбрасывает нам какую-то идею; откуда она берётся - мы сами не можем понять, но, конечно, интуиция работает благодаря тому, что мы уже решали множество самых разных задач и она на них "обучилась". Разница с двоечниками только в том, что после появления идеи ("нулю!") математик будет проверять её на логичность, будет искать логическую цепочку, которая к этому результату приводит. Ну так поиск такой цепочки - тоже не что-то творческое-творческое, а работает потому, что мы много таких цепочек видели и научились отличать логичное от нелогичного.

Даже удивительно, что двоешники и троешники еще все millennium prize problems на chatgpg не перерешали

-- 09.11.2024, 00:54 --

любопытно, а как нейросеть будет такую задачу решать:
функция $f$ положительна и дифференцируема на интервале $(0,1)$ и непрерывна на отрезке $[0,1];\quad f(0)=f(1)=0.$ Доказать, что существует $c\in(0,1)$ такое, что $f'(c)=f(c)$

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 225 ]  На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14, 15  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group