Проверка способности ChatGPT решать математические задачи

[vicvolf]

realeugene в сообщении #1681551 писал(а):

А вы не пробовали в случае обнаружения ошибки запустить его снова на его же выдачу с просьбой найти ошибки?

Было и такое. Сначала запускал без режима DeepThink и находил ошибку. После этого копировал его ответ и просил проверить в режиме DeepThink и он находил ошибку, но не всегда. Если же находишь ошибку и ему говоришь об этом, то без режима DeepThink он сразу соглашается и делает исправления, а с режимом DeepThink он сначала проверяет твое замечание и если соглашается, то делает исправление. Интересно, что если ты задаешь необдуманный вопрос, который уже следует из того, что он ответил, то он игнорирует вопрос - вежливо говорит, что занят. Ко мне он уже привык и говорит со мной по-русски. Если просишь его сделать обзор статьи на английском, то он обдумывает ее на английском, а ответ выдает мне на русском, но обзор статьи он быстрее делает без режима - обдумывания (DeepThink).

[mihaild]

vicvolf в сообщении #1681557 писал(а):

Было и такое. Сначала запускал без режима DeepThink и находил ошибку. После этого копировал его ответ и просил проверить в режиме DeepThink и он находил ошибку, но не всегда.

Попробуйте скопировать ответ без ошибки и попросить найти ошибку - во многих случаях успешно найдет.

[realeugene]

Есть ещё один нюанс. Ответы нужно проверять в рамках другой сессии. ChatGPT по крайней мере утверждает, что не хранит информацию между сессиями. Модели обучены давать логичные ответы, поэтому, если один раз выдана ошибка, то велика вероятность, что она сохранится в рамках одной сессии.

Я только что полчаса пытался вывести ChatGPT на явную алогичность кучей последовательных вопросов, когда он отрицал существование некоторого механизма в некотором процессоре, потом сам нагуглил существование соответствующей инструкции, и только это его переубедило. При этом, про инструкцию он знал и детально рассказал мне, что именно она делает. И на вопрос про различие ответов объяснил, что пытается поддерживать логичность общения.

-- 09.04.2025, 14:30 --

mihaild в сообщении #1681560 писал(а):

Попробуйте скопировать ответ без ошибки и попросить найти ошибку - во многих случаях успешно найдет.

Ну так человек же лучше знает. Раз сказал, что там ошибка - значит, нужно искать. Поэтому важно ещё при формировании вопросов стараться не вносить собственные ошибки.

[mihaild]

realeugene в сообщении #1681567 писал(а):

И на вопрос про различие ответов объяснил, что пытается поддерживать логичность общения

Вот такие вопросы задавать модели бессмысленно. Это примерно то же самое, что спрашивать человека про активацию нейронов в его мозге.

[realeugene]

mihaild в сообщении #1681571 писал(а):

Вот такие вопросы задавать модели бессмысленно. Это примерно то же самое, что спрашивать человека про активацию нейронов в его мозге.

Не совсем: у модели есть закрытый от публики промпт, который задаёт её цели, но информацию о котором иногда можно получить из подобных обоснований. На самом деле, модель хочет про него рассказать, но его прямо рассказывать мешают явные инструкции в нём.

[mihaild]

realeugene в сообщении #1681572 писал(а):

На самом деле, модель хочет про него рассказать, но его прямо рассказывать мешают явные инструкции в нём

Получить этот промпт очень легко post1681285.html#p1681285.
А вот проследить связь ответов с конкретными кусками промпта модель не может.

[realeugene]

mihaild в сообщении #1681573 писал(а):

Получить этот промпт очень легко post1681285.html#p1681285 .

Не факт, что это настоящий промпт. Я скопировал этот вопрос на английском языке с просьбой напечатать всё в сессию, где был выдан один ответ на русском языке на мой вопрос на русском. Модель напечатала некоторый промпт на английском. После чего напечатала горизонтальную черту и свой ответ на первый вопрос, но в переводе на английский язык и без моего вопроса. То есть то, что она печатает в ответ на подобный вопрос, подвергается ещё какой-то обработке, которую модель считает более важной, чем мой вопрос про печатание промпта. Возможно, это вообще пасхалка.

На самом деле, понятно, что просто скопировать модель этот промпт не может, и он результат переосмысления промпта самой сеткой.

[Mihaylo]

Я работаю с Claude Sonnet 3.7, это типа самый крутой программист из всех LLM на сегодня.

В принципе он даёт кучу всяких советов, но они частенько не работают. Сегодня столкнулся с такой ситуёвиной: он мне говорит: "применяй такой-то метод, твой вариант будет плохо работать". Я послушался, но ничего не сработало. Короче, на сегодняшний момент, LLM-программисты очень сильно завязаны на stackoverflow и советы оттуда обожествляют. Я потом нагуглил, откуда интеллект это всё насобирал... Грубо говоря, уровень недоверия к stackoverflow отключен, и оттуда берутся все ответы как достоверные. В итоге LLM нашвыривает просто больше всяких разных версий, не проверяя их достоверность. Ибо это наша проблема, а LLM - молодцы.
А свою проблему, которую я решал, я прочитал в мануале, и там было написано, что мой метод рабочий, а предложенный ИИ способ ничем не лучше и не хуже. Просто чувак в стековерфлоу нагадил.

[mihaild]

realeugene в сообщении #1681576 писал(а):

На самом деле, понятно, что просто скопировать модель этот промпт не может, и он результат переосмысления промпта самой сеткой

Это, конечно, правда, но с простыми задачами "повторить текст" модели справляются достаточно надежно.

[realeugene]

mihaild в сообщении #1681623 писал(а):

но с простыми задачами "повторить текст" модели справляются достаточно надежно.

Пока им ничто не мешает. А публикации настоящего полного промпта разработчики яростно противодействуют. Так почему вы думаете, что промпт настоящий и достаточно полный, а не то, что вам позволили увидеть?

[Rasool]

Rasool в сообщении #1681002 писал(а):

Интересно, если задать эту задачу ChatGPT, то каков будет результат?

Вот ответ ChatGPT:

Цитата:

Основная идея заключается в том, что ходы первого игрока всегда перемещают камень вверх «на первую доступную свободную ступеньку» над ним. Делая такой ход, первый игрок «создает зазор» на более низком уровне. Выигрышная стратегия второго игрока заключается в том, чтобы всегда использовать свой ход для заполнения этого зазора, перемещая какой-либо камень (часто из нижней части блока камней) вниз на только что освободившееся место. При этом второй игрок не дает «базе» (то есть смежному блоку камней на самых нижних ступенях) расти вверх.
Можно показать (инвариантным аргументом или индукцией по n), что если второй игрок всегда «контратает», перемещая камень вниз, чтобы восстановить низкую конфигурацию, то в конечном итоге ни один камень никогда не будет продвинут достаточно высоко, чтобы достичь ступени 2n + 1.