Проверка способности ChatGPT решать математические задачи

[Mihaylo]

mihaild в сообщении #1579331 писал(а):

всё еще в стадии "проще сделать самому, чем получить исправление от неё"

Ну конечно же неудобно: ты в этой схеме работаешь в качестве тестировщика, должен взаимодействовать с двумя системами, а не с одной: с тестируемой системой и с ChatGPT. Проще уж на самом деле самому все сделать (если, конечно, можешь).
Вот если бы ChatGPT умела самостоятельно тестировать, т.е. наблюдать результат и сравнивать с техзаданием, тогда бы вообще легко было. Но здесь уже совсем не чат-интерфейс...
А ожидать прорыва в программировании и исправлении ошибок не стОит. Уровень человека почти достигнут, я считаю, а это предел. Ну и чат-интерфейс имеет сильные ограничения по взаимодействию тестировщика и программиста, но тут скорее проблема человека-тестировщика, исключительно словами как-то сложно общаться... Другое дело, когда живой тестировщик зовет живого программиста, тыкает носом в экран и говорит: "Я нажал кнопку и смотри, что происходит!".

[mihaild]

Mihaylo в сообщении #1579349 писал(а):

А ожидать прорыва в программировании и исправлении ошибок не стОит. Уровень человека почти достигнут, я считаю, а это предел.

Опять же - размер контекста. ChatGPT принципиально не может знать больше нескольких килобайт контекста, и не может осмысленно что-то записывать а потом читать свои записи. А при любой реальной работе над кодом очень важно примерно представлять что вообще происходит в широком окружении, и уметь посмотреть детали.

Впрочем на текущий момент она если сформулировать тривиальную задачу совсем немного странно уже начинает отвечать неадекватно.

Цитата:

Write a Python function that takes an array and an integer and checks if one of elements in array is equal to length of the array.
Here is a Python function that takes an array and an integer and checks if one of elements in the array is equal to the length of the array:

Используется синтаксис Python

def check_element_equals_array_length(arr, n):
    return n in arr and arr.count(n) == 1
 

The function uses the in operator to check if n is in the arr, and count method to check if there is exactly one occurrence of n in arr.

Mihaylo в сообщении #1579349 писал(а):

Ну и чат-интерфейс имеет сильные ограничения по взаимодействию тестировщика и программиста, но тут скорее проблема человека-тестировщика, исключительно словами как-то сложно общаться... Другое дело, когда живой тестировщик зовет живого программиста, тыкает носом в экран и говорит: "Я нажал кнопку и смотри, что происходит!".

Вообще-то тестировщик и программист вполне могут общаться через текстовый интерфейс, и на практике часто так и делают.

[Mihaylo]

Я только вот недавно тестировал скрипты Excel, я писал в Whatsapp и скидывал скриншоты, это здорово облегчает обмен.

[MoonWatcher]

Mihaylo в сообщении #1579349 писал(а):

Уровень человека почти достигнут, я считаю, а это предел.

Непонятно на чем основано такое предположение. Нынешний уровень в лучшем случае соответствует джуну - значит теоретически чат-боты могут достигнуть уровня очень сильного или даже гениального программиста, нет?

[Sonic86]

Mihaylo в сообщении #1579349 писал(а):

А ожидать прорыва в программировании и исправлении ошибок не стОит. Уровень человека почти достигнут, я считаю, а это предел.

Лично я считаю ровно наоборот. Уровень среднего человека (который обычно программировать вообще не умеет) может и достигнут, а уровень обычного разработчика не достигнут даже близко. Нормальный ИИ должен почти все алгоритмические задачки щелкать как орешки, должен мочь оптимизировать заданный код как алгоритмически (по скорости и по памяти), так и более низкоуровнево, должен мочь написать интерпретатор любого языка по спецификации и т.п.. Почти любой разраб с этим справится при наличии достаточного количества времени и денег.
И если уж нейросетки научились играть в шахматы и в го, то они просто обязаны мочь программировать вышеописанным образом.
Могут быть конечно какие-нибудь неоднозначности в выборе стиля кода, нейминга переменных, ЯП, фреймворка, рахитектуры, форматов данных, использования библиотек и т.п., но любой разработчик согласится с тем, что это - несущественно: можно попытаться явно зафиксировать выбор этих факторов и тогда ИИ должен мочь генерировать вполне однозначный код.

[Rasool]

Известный специалист по искусственному интеллекту и инженерии знаний Джон Сова (John Sowa) утверждал, что понимание текста на естественном языке - это "ИИ-трудная задача". ChatGPT вроде как бы опровергает это утверждение? Все дело в представлении знаний. Джон Сова - специалист по онтологиям, которые представляют собой логические структуры, отображающие знания об окружающем мире. Вопрос, как представляются знания в нейронной сети ChatGPT?

[mihaild]

При всём уважении к Вам и к Sowa, мне кажется, Вы придаете слишком большое значение этому его высказыванию. Сам по себе термин "ИИ-полная задача" не факт что может быть хорошо определен.

В ChatGPT все "знания" представляются коэффициентами в матрицах. Иногда, если повезет, можно указать, что вот тут модель смотрит на это слово чтобы решить, что сказать здесь. Чаще нельзя. Вопрос о том, "понимает" ли ChatGPT текст, может оказаться вообще лишенным смысла.

[MoonWatcher]

mihaild в сообщении #1579475 писал(а):

В ChatGPT все "знания" представляются коэффициентами в матрицах

ИМХО это не отличается принципиально от того, что все знания человека представляются связями разной силы между нейронами его мозга. В этом смысле интересно существуют ли какие-то строгие, максимально близкие к математике, определения того что есть понимание. Мой дилетантский критерий от обратного гласит, что нет понимания, если на фоне правильного решения сложных задач система допускает ошибки в простых. Но уверенности в правильности этого критерия у меня нет - как насчет математика, который настолько сосредоточился на решении сложной задачи, что несколько минут варил часы, держа в руке сырое яйцо? Очевидно свою ошибку он совершил из-за автоматизма - он не сосредоточился на варке яйца, действовал на автомате (который дал сбой). Но какие-то гении на автомате решают сложные математические задачи - чем они глупее тех, кто делает это сосредоточившись? Наверное бывают умненькие школьники, которые решают математические задачи сходу и даже не могут объяснить как они делают (или, по крайней мере, это требует от них больших усилий, чем само решение задачи)? Однако их не принято называть стохастическим попугаем или китайской комнатой...

При этом я конечно не равняю математиков с хорошей интуицией и LLM - такие математики "подсознательно" оперируют символьной логикой (или как там это называется), тогда как LLM предсказывает следующее слово. Оперируя символьной логикой, человек может не понимать как он решил задачу, но его подсознание это все-таки понимает. Может это критерий понимания - оперирование символами, логикой и т.д.? Во всяком случае при решении математических задач - в остальных сферах деятельности все гораздо сложнее.

[Sender]

MoonWatcher в сообщении #1579491 писал(а):

решают математические задачи сходу и даже не могут объяснить как они делают

Решение математической задачи как раз и подразумевает подробное развёрнутое объяснение. Иногда можно интуитивным образом узреть ответ, но к решению это имеет довольно слабое отношение.

[MoonWatcher]

Sender
Однако это решение - не как процесс, но как результат. В любом случае вряд ли это принципиально, поскольку, повторюсь, человек может и не понимать как он решил задачу, но его подсознание это все-таки понимает. Человек сначала понял последовательность решения задачи (пусть даже подсознательно) и затем пришел к ответу - LLM сразу получила ответ.

[Sender]

MoonWatcher в сообщении #1579499 писал(а):

Однако это решение - не как процесс, но как результат.

Во избежание путаницы предлагаю называть это ответом.

MoonWatcher в сообщении #1579499 писал(а):

В любом случае вряд ли это принципиально, поскольку, повторюсь, человек может и не понимать как он решил задачу, но его подсознание это все-таки понимает.

Этот ответ может оказаться и неправильным, подсознание может ошибаться. Говорить о том, что подсознание что-то понимает, бессмысленно: понимание среди прочего подразумевает возможность объяснения пути решения другому человеку. Даже если подсознание случайно выдало правильный ответ, во-первых, угадывание правильного ответа скорее исключение, чем правило, во-вторых, в математике важно разделять решение и ответ, последний без первого не имеет ценности.

[Mikhail_K]

mihaild в сообщении #1579475 писал(а):

Иногда, если повезет, можно указать, что вот тут модель смотрит на это слово чтобы решить, что сказать здесь. Чаще нельзя. Вопрос о том, "понимает" ли ChatGPT текст, может оказаться вообще лишенным смысла.

Ну к людям это тоже относится. Мы не решаем сознательно, что сказать (в большинстве случаев); слова сами рождаются в нашей голове, а в результате взгляда на какие конкретно слова (или вообще независимо от них) - мы сами не знаем.

Sender в сообщении #1579495 писал(а):

Иногда можно интуитивным образом узреть ответ, но к решению это имеет довольно слабое отношение.

Сначала мы интуитивно узреваем ответ (или шаг в решении), а затем нейросеть в нашей голове решает задачу: как представить эту идею в виде последовательности более внятных шагов.

[MoonWatcher]

Mikhail_K в сообщении #1579512 писал(а):

Сначала мы интуитивно узреваем ответ (или шаг в решении), а затем нейросеть в нашей голове решает задачу: как представить эту идею в виде последовательности более внятных шагов.

А ответ откуда узреваем? Все-такие наверное сначала наша нейросеть быстро решает задачу через последовательность шагов и выдает нам ответ - и только потом мы фокусируем внимание на последовательности рассуждений, которые привели к правильному ответу.

Sender в сообщении #1579510 писал(а):

Этот ответ может оказаться и неправильным, подсознание может ошибаться. Говорить о том, что подсознание что-то понимает, бессмысленно: понимание среди прочего подразумевает возможность объяснения пути решения другому человеку. Даже если подсознание случайно выдало правильный ответ, во-первых, угадывание правильного ответа скорее исключение, чем правило, во-вторых, в математике важно разделять решение и ответ, последний без первого не имеет ценности.

Я конечно имел в виду правильный ответ. А под пониманием подразумеваю последовательное решение. Просто мы не осознаем его - на том уровне сознания, что отвечает за формулирование своих мыслей. Этот как вопрос "Как ты узнал Петю?" - на него вообще нельзя ответить, как ни старайся. Потому что распознавание петиной физиономии произошло "подсознательно". Термин условный - в смысле уровня сознания, на котором не осознается последовательность действий нашего сознания, которые привели к узнаванию. Аналогично интуиция в математике. В любом случае, подозреваю, решение состоялось - осознанно или "подсознательно". Что принципиально отличает человеческий интеллект от языковых моделей, где никакого решения нет. А есть только ответ или набор ответов, из которых правильный вариант отбирается по каким-то критериям.

[Mikhail_K]

MoonWatcher в сообщении #1579517 писал(а):

А ответ откуда узреваем? Все-такие наверное сначала наша нейросеть быстро решает задачу через последовательность шагов и выдает нам ответ

Я так не думаю. И, кажется, это известный факт (хотя это надо уточнять), что наше мышление не логично. Ответ мы узреваем как нейросеть, сразу, без ведущей к нему последовательности шагов (благодаря "обучению" на большом количестве самых разнообразных задач, для которых мы знаем ответы), а логическое обоснование домысливаем уже потом (или же его не получается домыслить). Если задача сложная, то, конечно, мы узреваем не сразу ответ на неё, а общее представление, каким может быть шаг в её решении - и опять же, логически обосновываем и придаём этому шагу чёткость уже после.

[MoonWatcher]

Mikhail_K
Что-то такое утверждала Черниговская, но сильно сомневаюсь, что это научно. Уверен, что не я один считаю (и есть научная база в пользу такого мнения), что наш ответ опережает не решение, а ОСОЗНАНИЕ этого решения. В противном случае откровенная мистика. С LLM хоть понятно - "стохастический попугай". А мы, гордые потомки обезьян?..

Насчет того, что "наше мышление не логично". Не подглядывая в Википедию рискну предположить, что логика - это формальное описание правил, выведенных из наблюдаемых закономерностей. Но то, что мы не владеем этим описанием или хотя бы не прибегаем к нему, вовсе не означает, что мы не способны извлекать закономерности. Не всегда, конечно - какие-нибудь бушмены "глупее" нас в логике именно потому, что не изучали логику (или какие-то дисциплины, где задействована логика). Но так или иначе мы закономерности извлекаем - и овладев соответствующим навыком, решаем разные интеллектуальные задачи. Даже если не прибегаем к логике осознанно. Это как у Мольера, где герой "Мещанина во дворянстве" говорил прозой, не подозревая об этом.