Проверка способности ChatGPT решать математические задачи

[mustitz]

Mikhail_K в сообщении #1578512 писал(а):

MoonWatcher
Мне кажется, современные нейросети уже доказали, что их интеллект не имеет принципиальных отличий от человеческого.

Я бы сказал не интеллект, а интуиция. Нейросеть больше похожа на студента, который не знает и пытается угадать. И достаточно неплохо угадывает. И будет угадывать лучше. И если сейчас человек может указывать на ошибки, то усложнение сети может привести к тому, что эти ошибки будет сложно найти даже человеку. Но они будут.

В приципе, это будет усиление для поиска, но внутри готовых формальных систем, которые могут проверять правильность и как-то направлять поиск.

Пока что я попросил доказать коммутативность умножения
Theorem mul_comm : forall m n : nat, m * n = n * m.
Proof.

На что получил:
intros m n. induction m as [ | m' IH].
- simpl. rewrite mult_0_r. reflexivity.
- simpl. rewrite IH. rewrite double_plus_one. rewrite plus_comm. reflexivity.
Qed.

А уж где он там double увидел, мне сложно сказать. Хотя ответил на вопрос достаточно уверенно

What is double_plus_one?

Цитата:

double_plus_one is not a standard Coq theorem or definition, but it could be a custom theorem or definition. It may refer to the property that double n + 1 = S (double n) for a natural number n.

После rewrite IH никакого удвоения нет, цель имеет вид
1 goal
m', n : nat
IH : m' * n = n * m'
______________________________________(1/1)
n + n * m' = n * S m'

[Mihaylo]

Mihaylo в сообщении #1579349 писал(а):

Уровень человека почти достигнут, я считаю, а это предел.

MoonWatcher в сообщении #1579371 писал(а):

Непонятно на чем основано такое предположение. Нынешний уровень в лучшем случае соответствует джуну - значит теоретически чат-боты могут достигнуть уровня очень сильного или даже гениального программиста, нет?

Sonic86 в сообщении #1579410 писал(а):

Лично я считаю ровно наоборот. Уровень среднего человека (который обычно программировать вообще не умеет) может и достигнут, а уровень обычного разработчика не достигнут даже близко. Нормальный ИИ должен почти все алгоритмические задачки щелкать как орешки, должен мочь оптимизировать заданный код как алгоритмически (по скорости и по памяти), так и более низкоуровнево, должен мочь написать интерпретатор любого языка по спецификации и т.п.. Почти любой разраб с этим справится при наличии достаточного количества времени и денег.
И если уж нейросетки научились играть в шахматы и в го, то они просто обязаны мочь программировать вышеописанным образом.

Поясняю свою нетривиальную точку зрения.
Во-первых, программирование - это процесс итеративный: написал кусочек кода, запустил, протестировал, локализовал ошибки, исправил (это уже следующая итерация). Процесс такой: кодирование -> тестирование -> кодирование -> тестирование -> кодирование -> тестирование -> и т.д.
ChatGPT освоил исключительно одну операцию кодирования. И делает это превосходно! Но он не может запрограммировать операционную систему, ибо надо как минимум освоить тестирование (а это выходит за рамки чат-интерфейса).
То есть мы просто говорим про разное: я говорю, что ChatGPT отлично кодирует. "Уровень джуна" - это оценка общая, не про кодирование, а программирование в целом. Я бы выразился лучше так: "Уровень миддл/сеньор" - это про кодирование, "без оценки" - это про тестирование, соответственно про программирование - "неудовлетворительно, неявка".
Оптимизация по быстродействию и памяти зачастую требует анализа, а где именно происходит затык, какой массив не впихнулся в какую-то память или какой цикл не заходит в какой-то процессор. Просто так абстрактно ничего не делается. Почти.
Тестирование - это непростая задача. Ибо здесь происходит сравнение требований техзадания с промежуточным результатом, но при этом часть требований "подразумевается". Короче, тут может потребоваться обучение доменно-специфическим знаниям, а не просто словесным оперированиям NLP. Очень многие знания словесно оперируются и содержатся в корпусах текстов, но не все - это однозначно.

[mihaild]

Mihaylo в сообщении #1579566 писал(а):

я говорю, что ChatGPT отлично кодирует

Не могу с этим согласиться.

Цитата:

Write a python function that takes an array and returns any integer not equal to length of the array.

Используется синтаксис Python

def find_missing(arr):
    return [x for x in range(len(arr) + 1) if x not in arr][0]

Как только появляются формулировки не встречающиеся на stackoverflow - начинается творчество.

[Sonic86]

Mihaylo в сообщении #1579566 писал(а):

Поясняю свою нетривиальную точку зрения.
Во-первых, программирование - это процесс итеративный: написал кусочек кода, запустил, протестировал, локализовал ошибки, исправил (это уже следующая итерация). Процесс такой: кодирование -> тестирование -> кодирование -> тестирование -> кодирование -> тестирование -> и т.д.
ChatGPT освоил исключительно одну операцию кодирования. И делает это превосходно! Но он не может запрограммировать операционную систему, ибо надо как минимум освоить тестирование (а это выходит за рамки чат-интерфейса).
То есть мы просто говорим про разное

А, понял. Тогда соглашусь, но КМК люди действительно ждут от нейросеток не таких достижений, а достижений типа достижений в го и в шахматах - т.е. глубочайшего, сверхчеловеческого, разгромного понимания кода.

Mihaylo в сообщении #1579566 писал(а):

Тестирование - это непростая задача. Ибо здесь происходит сравнение требований техзадания с промежуточным результатом, но при этом часть требований "подразумевается". Короче, тут может потребоваться обучение доменно-специфическим знаниям, а не просто словесным оперированиям NLP. Очень многие знания словесно оперируются и содержатся в корпусах текстов, но не все - это однозначно.

Тестирования и вообще погружения в естественный язык можно избежать, если ставить задачу типа "дан код, надо его оптимизировать". Например,

Используется синтаксис Python

def calc_sum(n):
    total_sum = 0
    for idx in range(abs(n)):
        total_sum += idx
    return total_sum 

Любая годная нейросеть-программист должна выдать что-нибудь типа

Используется синтаксис Python

def calc_sum(n):
    n = abs(n)
    return (n * (n - 1)) // 2

Я не пробовал, но думаю, что ChatGPT на этом примере легко завалится. Подобные задачи можно решать без тестирования - чисто на трансляции одних языковых конструкций в другие
(я не сделал проверку, что n - это целое число, можно просто добавить assert типа n)

[mihaild]

Sonic86 в сообщении #1579582 писал(а):

Подобные задачи можно решать без тестирования - чисто на трансляции одних языковых конструкций в другие

Ну Ваша трансляция, строго говоря, некорректна. Потому что кто Вам сказал что range выше не переопределено?

mihaild в сообщении #1579568 писал(а):

Как только появляются формулировки не встречающиеся на stackoverflow - начинается творчество.

Кстати и у поисковиков с этим проблемы. Попробуйте поискать фотографию не белого тигра.

[Sonic86]

(mihaild)

mihaild в сообщении #1579600 писал(а):

Ну Ваша трансляция, строго говоря, некорректна. Потому что кто Вам сказал что range выше не переопределено?

Это несущественно. Можно дописать перед кодом range = builtins.range, а можно переписать код на цикл while

[mihaild]

(Оффтоп)

Sonic86 в сообщении #1579604 писал(а):

Это несущественно. Можно дописать перед кодом range = builtins.range, а можно переписать код на цикл while

Это существенно, если мы хотим говорить о строгих конструкциях, не опирающихся на здравый смысл. builtins тоже можно переопределить, а ещё можно переопределить int, и тогда операции с n будут означать вообще что угодно.

[Rasool]

Сейчас в работе с нейронными сетями имеется проблема XAI - "объяснимого ИИ". Это практически неразрешимая задача, разве что можно сделать небольшие подвижки в ее решении. Думаю, что это касается и ChatGPT.

[Mihaylo]

Sonic86 в сообщении #1579582 писал(а):

но КМК люди действительно ждут от нейросеток не таких достижений, а достижений типа достижений в го и в шахматах - т.е. глубочайшего, сверхчеловеческого, разгромного понимания кода.

Никаких сверхинтеллектов не существует. Практика показывает, что нейросети превосходят человека, но только там, где их удалось всунуть. Превосходство не в разы, а на проценты. Это свидетельствует об общих принципиальных ограничениях, а также об общих принципах работы искусственного и биологического мозга. Никаких усилителей мозга не существует, это лишь реклама наркотиков для недоходчивых. Все мы мыслим шаблонно также как нейросети. Вот.

Принимайте ответ нейросети:

def calc_sum(n):
    return sum(range(abs(n)))

[mihaild]

Mihaylo в сообщении #1579636 писал(а):

Превосходство не в разы, а на проценты

Как вы эти проценты считаете?

Mihaylo в сообщении #1579636 писал(а):

Это свидетельствует об общих принципиальных ограничениях

А то, что классические алгоритмы CV работали очень плохо, свидетельствовало о принципиальных ограничениях, или просто о том, что не придумали более эффективных методов?
Если обезьяна попытается применить Ваши рассуждения, получится ли у неё, что людей не существует?

[Mihaylo]

mihaild в сообщении #1579637 писал(а):

Как вы эти проценты считаете?

Например, про распознавание речи:
https://habr.com/ru/post/372781/
Или про того же Ли Седоля в го.

mihaild в сообщении #1579637 писал(а):

А то, что классические алгоритмы CV работали очень плохо, свидетельствовало о принципиальных ограничениях, или просто о том, что не придумали более эффективных методов?

Эти же алгоритмы заработали как следует, непринципиальное ограничение. Вообще алгоритмы особой сути не несут, вон в Яндексе любят бустинг вместо нейронок, а на Каггле советуют не забывать метод ближайших соседей.
Не буду подсказывать, что изменилось с 2012-го года. Не алгоритмом единым.

mihaild в сообщении #1579637 писал(а):

Если обезьяна попытается применить Ваши рассуждения, получится ли у неё, что людей не существует?

Попытается. Точка. Причина та же, что и в 2012 году.
Спросите антропологов и палеонтологов, что приводит к резким изменениям интеллектуальной способности. То есть всегда действуют принципиальные ограничения, но есть ещё непринципиальные.

[mihaild]

Mihaylo в сообщении #1579639 писал(а):

Например, про распознавание речи: https://habr.com/ru/post/372781/

Статья пятилетней давности, с тех пор ситуация сильно изменилась. Разница между языками и зависимость от условий колоссальная.

Mihaylo в сообщении #1579639 писал(а):

Или про того же Ли Седоля в го.

Уже AlphaZero гораздо сильнее AlphaGo Sedol, а с тех пор был ещё прогресс.

Mihaylo в сообщении #1579639 писал(а):

Эти же алгоритмы заработали как следует, непринципиальное ограничение

Нет, не заработали. Сверточные сети очень сильно отличаются от классических алгоритмов.

Mihaylo в сообщении #1579639 писал(а):

вон в Яндексе любят бустинг вместо нейронок, а на Каггле советуют не забывать метод ближайших соседей.

Как в Яндексе, так и на Каггле любят то, что работает. KNN активно используется в очень многих задачах, нейронки и деревья используются не вместо друг друга, а вместе, и т.д.
Но вопрос был не об этом. Вот приходит Mihaylo образца 1985 года, смотрит на алгоритмы, мучительно пытающиеся отличить восьмерку от девятки, и говорит, что сильно лучше сделать и не получится. Что Вы ему ответите?

Mihaylo в сообщении #1579639 писал(а):

Не буду подсказывать, что изменилось с 2012-го года. Не алгоритмом единым

А подскажите. Я могу сходу придумать несколько гипотез, что Вы имеете в виду, и не знаю, как из них выбрать.

-- 31.01.2023, 19:11 --

(Оффтоп)

Вообще зря я написал пост выше, но просто мне очень сильно не нравится тезис "сверхчеловеческий интеллект невозможен", который очень уж часто дают либо вообще без аргументов, либо с очень слабыми аргументами.

[Mihaylo]

mihaild

(Оффтоп)

А мне принципиально не нравится высказывание "сверхчеловеческий интеллект возможен". Аргументация такова: человеческий мозг не надо ни с чем сравнивать. Это не планка, которую поднатужившись, можно преодолеть. Вот, например, мозг осьминога покрупнее человеческого будет. Осьминог умеет маскироваться, изменяя цвет, подражая окружающим объектам. Человеческий мозг так умеет?
Что такое сверхосьминожий интеллект?
Это все фантазии бессмысленные. Фантазии не могут существовать.
Тот, кто любит рассуждать о превосходстве над человеком, просто не понимает элементарных вещей. Это психологического рода искажение, самолюбие, самолюбование.

[Sonic86]

Mihaylo в сообщении #1579636 писал(а):

Никаких сверхинтеллектов не существует.

Я под сверхинтеллектом имел ввиду интеллект, который количественно сильно превосходит человеческий. Таким сверхинтеллектом я считаю AlphaZero, играющую в го.
Ну а так-то понятно, что за пределы Тьюринговой вычислимости нам никак не выйти. Я не хотел никого вводить в заблуждение словом "сверхинтеллект".

Mihaylo в сообщении #1579636 писал(а):

Принимайте ответ нейросети:

def calc_sum(n):
    return sum(range(abs(n)))

Ну как и ожидалось - ответ не тот: время работы по прежнему равно $O(n)$, а не $O(1)$.

Mihaylo в сообщении #1579636 писал(а):

Никаких усилителей мозга не существует, это лишь реклама наркотиков для недоходчивых.

У каждого из нас есть куча усилителей интеллекта: калькулятор, ручка и бумажка, ЯП и программирование, поисковики с интернетами и даже нейросети

[mihaild]

(Mihaylo)

Mihaylo в сообщении #1579670 писал(а):

Аргументация такова: человеческий мозг не надо ни с чем сравнивать. Это не планка, которую поднатужившись, можно преодолеть

Безусловно, понятие силы интеллекта - не слишком хорошо определено. Но во многих случаях оно определено достаточно хорошо, чтобы быть полезным.
Разумеется, точнее говорить не о силе интеллекта вообще, а о способности решать конкретные интеллектуальные задачи. Под сверхчеловеческим интеллектом в этом случае стоит понимать систему, которая широкий спектр интеллектуальных задач (тут в принципе можно составить список) решает лучше, чем люди.

Mihaylo в сообщении #1579670 писал(а):

Осьминог умеет маскироваться, изменяя цвет, подражая окружающим объектам. Человеческий мозг так умеет?

Изменение цвета тела не является интеллектуальной задачей.

Mihaylo в сообщении #1579670 писал(а):

Что такое сверхосьминожий интеллект?

Система, способная решать интеллектуальные задачи, сильно лучше, чем осьминог. Взрослый здоровый человек является такой системой.