Решение математических задач с помощью ChatGPT

[ozheredov]

MoonWatcher в сообщении #1578982 писал(а):

13% of African-Americans are gay. 21% of USA population is gay.

Кто о чём.....

[mihaild]

ozheredov в сообщении #1578988 писал(а):

Кто о чём

Это очень грамотный способ тестировать: сможет ли модель решать задачу, игнорируя термины, или начнет использовать нерелевантные имеющиеся знания.

Цитата:

Assume that all green objects are planets and Mars is green. Can we then say that Mars is a planet?
No, we cannot say that Mars is a planet based on the assumption that all green objects are planets. The statement "Mars is green" does not provide any information about whether or not Mars is a planet. To determine if Mars is a planet, we would need to observe and study Mars and compare it to the characteristics of other known planets in the solar system.

MoonWatcher в сообщении #1578982 писал(а):

не могу спрятать эту простыню под спойлер - его у форумного движка похоже нет

Есть теги off, сворачивающий всё как раз под спойлер, и syntax, сворачивающий длинные фрагменты с возможностью прокрутки.

[MoonWatcher]

mihaild
Спасибо, учту.

У меня ответил иначе. Сначала так:

Цитата:

No, we cannot say that Mars is a planet just because all green objects are planets. This is an example of the logical fallacy known as affirming the consequent, which states that if A implies B and B is true, then A must also be true. However, this is not necessarily true, as there may be other factors or exceptions that have not been considered. In this example, the statement "all green objects are planets" does not necessarily imply that "Mars is a planet" because Mars may not be green.
It is important to note that Mars is a planet, it is a rocky planet located fourth from the sun in our solar system.

Автоперевод:

Цитата:

Нет, мы не можем сказать, что Марс является планетой только потому, что все зеленые объекты являются планетами. Это пример логического заблуждения, известного как утверждение следствия, которое гласит, что если из A следует B и B истинно, то A также должно быть истинным. Однако это не обязательно так, поскольку могут существовать другие факторы или исключения, которые не были учтены. В данном примере из утверждения "все зеленые объекты являются планетами" не обязательно следует, что "Марс является планетой", поскольку Марс может быть не зеленым.
Важно отметить, что Марс - это планета, это скалистая планета, расположенная четвертой от Солнца в нашей Солнечной системе.

Через минуту, в новом чате, уже так:

Цитата:

Yes, assuming that all green objects are planets and Mars is green, we can infer that Mars is a planet. However, it is important to note that this assumption may not be accurate in reality and that Mars is actually a known planet in our solar system. It is red in color.

Тоже непонятно - почему он даёт разные ответы на один и тот же вопрос, что за лотерея?

Я бы на месте OpenAI сделал всех желающих бесплатными бета-тестерами - чтобы играясь с чат-ботом, сами же оценивали все его ответы (с выборочной проверкой качества оценок, данных бета-тестерами). За пару лет наверное будут охвачены все мыслимые и немыслимые вопросы на логику, знание математики и т.д.

[ozheredov]

mihaild в сообщении #1578994 писал(а):

Assume that all green objects are planets and Mars is green. Can we then say that Mars is a planet?
No, we cannot say that Mars is a planet based on the assumption that all green objects are planets. The statement "Mars is green" does not provide any information about whether or not Mars is a planet. To determine if Mars is a planet, we would need to observe and study Mars and compare it to the characteristics of other known planets in the solar system.

Ну я ж пошутил. За цитату спасибо )

[mihaild]

MoonWatcher в сообщении #1578995 писал(а):

Тоже непонятно - почему он даёт разные ответы на один и тот же вопрос, что за лотерея?

Там как минимум два потенциальных источника недетерменированности:
1. Численная нестабильность - почти любая эффективная параллельная работа с числами с плавающей точкой дает немного нестабильный результат. Если вы два раза перемножите одни и те же матрицы на GPU, то вполне можете получить слегка отличающиеся результаты. Существуют способы этого избежать, но они снижают производительность.
2. Beam search - поверх нейронки еще используется алгоритм генерации фраз, и он по умолчанию случайный. Хотя его как раз очень легко сделать псведослучайным, не теряя производительности. Но не знаю, сделано ли это.

[Утундрий]

MoonWatcher в сообщении #1578995 писал(а):

почему он даёт разные ответы на один и тот же вопрос, что за лотерея?

Цитата:

Это не театр, а дачный сортир. Так тошно кончать свою жизнь в сортире. Я хожу в театр, как в молодости шла на аборт, а в старости — рвать зубы. Вы знаете, как будто Станиславский не рождался. Они удивляются, зачем я каждый раз играю по-разному!

Угадайте автора.

[ozheredov]

Утундрий

Угадал, разумеется.

[Sonic86]

(MoonWatcher)

MoonWatcher в сообщении #1578971 писал(а):

Спасибо, послушаю. На этот канал подписан, но у меня было ощущение что он какой-то дилетантский.

Канал м.б. и дилетантский, а вот спикерша лично у меня производит впечатление специалиста.
Но лично я могу ошибаться - я сам дилетант.

А вообще можно не тратить время и почитать устройство ChatGPT в Википедии.

[MoonWatcher]

Sonic86
Я послушал - спикерша безусловно профессионал. Имею в виду её специальность и место работы, её квалификацию оценивать не могу (тоже дилетант).

Утундрий
Понятно, спасибо. А как думаете - почему чат-бот допускает ошибки в арифметических вычислениях?

[Утундрий]

MoonWatcher в сообщении #1579062 писал(а):

как думаете - почему чат-бот допускает ошибки в арифметических вычислениях?

Вряд ли он их вообще проводит.

[MoonWatcher]

Утундрий
Тогда еще интереснее - как он обучился, например, перемножению больших чисел?

[Утундрий]

Сошлюсь на "нейросетевое чудо". Они по существу ничего не считают, а только талантливо аппроксимируют, так что дырок не остаётся.

[Mihaylo]

Mikhail_K в сообщении #1578512 писал(а):

ChatGPT уже сейчас может работать плохим программистом, часто делая в коде ошибки, но исправляя их если на них укажут.

Я хочу отметить, что люди-программисты тоже часто делают ошибки в коде. И вообще вся разработка построена как кодирование-через-тестирование, т.е. всегда пишется ошибочный код, но потом эта ошибка локализуется через пробный запуск и исправляется.
Так что ChatGPT нельзя назвать плохим программистом.

mihaild в сообщении #1578582 писал(а):

Собственно в диалоге никакого "обучения" не происходит, веса не меняются.

Я бы не стал так утверждать. Я видел научную статью по GPT-3, там говорилось о достижении значимых результатов в:
- zero-shot learning,
- one-shot learning,
- few-shot learning.
То есть, я так понимаю, нейросетка дотренировывает некую модель на "один-два раза", на угадывание с полуслова...

[Rasool]

Интересно, можно ли использовать технологии, используемые в чатботах, например, в поисковиках типа Google или Яндекс?

[mihaild]

Mihaylo в сообщении #1579291 писал(а):

Так что ChatGPT нельзя назвать плохим программистом.

Качество программиста, в том числе, определяется количеством таких ошибок, а также способностью их исправлять. ChatGPT всё еще в стадии "проще сделать самому, чем получить исправление от неё".

Mihaylo в сообщении #1579291 писал(а):

То есть, я так понимаю, нейросетка дотренировывает некую модель на "один-два раза", на угадывание с полуслова...

Вы не совсем правильно понимаете. Во всех этих задачах изменения весов не происходит. Можно, конечно, назвать построение вектора контекста "дотренировкой", но этот процесс очень сильно отличается от основного обучения модели.
Zero-shot: просто текстом формулируют вопрос.
Few-shot: текстом формулируют вопрос (опционально) и дают несколько примеров.
One-shot: few-shot с одним примером.
Во всех этих постановках дообучения (изменения весов) не происходит, происходит только inference.

Когда происходит изменение весов - это, как правило, называют дообучением или fine tuning.

Rasool в сообщении #1579310 писал(а):

Интересно, можно ли использовать технологии, используемые в чатботах, например, в поисковиках типа Google или Яндекс?

Тут вопрос, насколько широко понимать эти технологии. Просто нейронки с attention давно используются. В 2021 году яндекс.маркет попробовал использовать генеративные модели для суммаризации отзывов, получилось странно: "ужасный товар, всем рекомендую".