Проверка способности ChatGPT решать математические задачи

[vicvolf]

Anton_Peplov в сообщении #1681276 писал(а):

Combat Zone в сообщении #1681273 писал(а):

По моему опыту, DeepSeek на диво устойчив относительно обучения.

А он вообще обучается на запросах пользователя? Я думаю, что нет. Правда, про DeepSeek не знаю,

Я уже довольно много работаю с DeepSeek. В пределах одной темы он обучается. Но в другой теме он об этом не помнит. Я перекачиваю нужный материал из одной темы в другую для продолжения.

[Mihaylo]

Anton_Peplov в сообщении #1681276 писал(а):

Человек непрерывно обучается на любой поступающей информации. У искусственных нейросетей, вообще говоря, не так. Есть обучение (подбор синаптических весов), а есть использование (обработка запросов при фиксированных синаптических весах). Это разные режимы работы. Вы можете в своих запросах прочесть нейросети полный курс матана, но она будет знать о матане столько же, сколько знала в момент релиза, и ни битом больше.

Объясню, почему LLM не обучаются на ходу. Во-первых, они уже переработали пентабайты данных, а вот эти текущие данные - это мизер, во-вторых, обучение на лету требует дополнительных вычислительных ресурсов, в третьих, качество новых данных неконтролируемо (потенциально опасно снижением интеллекта).
Но я думаю, эти все проблемы решаемы и в будущем конкуренция дойдёт до такой степени, что их будет выгодно решить.

[Red_Herring]

Reports of LLMs mastering math have been greatly exaggerated

[MoonWatcher]

Даже я, простой обыватель, в тот же день как вышли результаты узнал, что Gemini 2.5 Pro в USAMO 2025 набрала 24%. А Маркус не удосужился уточнить свежие результаты хотя бы перед публикацией.

[Anton_Peplov]

vicvolf в сообщении #1681311 писал(а):

В пределах одной темы он обучается.

Нет, не обучается. Просто получает в качестве вводной весь предыдущий тред. Синаптические веса не меняются, сеть не усваивает новую информацию. Об этом ясно сказали выше.

[wrest]

Red_Herring в сообщении #1681345 писал(а):

Reports of LLMs mastering math have been greatly exaggerated

Вот кстати очень точно подмечено, что проблема в том, что эти LLM не могут "увидеть" (ну или "понять"), что вывод неверный, решение ошибочно. Они "уверены" (если так можно сказать) что задача решена. Вплоть до того, что при решении уравнения "как-бы" подставляют вычисленный корень в уравнение и получают что он корень, хотя он вовсе не корень. А юзеры верят -- написано же что вот подставляем, смотрите, получился ноль. То есть способности к "рассуждению" LLM не имеют.

[Yadryara]

wrest в сообщении #1681352 писал(а):

А юзеры верят -- написано же что вот подставляем, смотрите, получился ноль.

А откуда известно, что они верят? Им что лень проверить? Скопипастить строчку и в калькулятор, в более сложных случаях — в Альфу.

Если людям настолько лень вдруг стало, то это очень плохой знак: несмотря на регулярное враньё LLM, людям всё равно настолько хочется им верить, что даже простейшие вещи не делают.

[Yadryara]

wrest в сообщении #1681270 писал(а):

Завожу новый диалог и прошу только вычислить,

Цитата:

вычисли $(0.0617235993853495)^3 + (0.0617235993853495)^2 - 0.0617235993853495 - 1/9$

после долгих рассуждений и вычисьения слагаемых по отдельности, затем их суммирования, получаю ответ

$\[ \boxed{-0.168789786774} \] $

Альфа и с этим не согласна. Сравним равное количество знаков:

-0.168789786774
-0.168789753038

[vicvolf]

Anton_Peplov в сообщении #1681351 писал(а):

vicvolf в сообщении #1681311 писал(а):

В пределах одной темы он обучается.

Нет, не обучается.

Смотря, что понимать под обучением. Я могу присоединить в теме книги или статьи и ИИ использует их в дальнейшем обсуждении. Это же процесс получения новых знаний, т.е. обучение. Другое дело, что это только в пределах темы. Общая база знаний этого ИИ обновлялась в сентябре 2023 года.

[mihaild]

vicvolf в сообщении #1681408 писал(а):

Смотря, что понимать под обучением

Изменение весов сети. В контексте LLM (и вообще нейронок) это стандартный термин.
(Правда есть еще one/few-shot learning, который таким обучением не является, но это как морская свинка)