Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3, 4, 5, 6  След.
 Re: Проверка способности LLM решать математические задачи
Cuprum2020 в сообщении #1724515 писал(а):
И чем это принципиально отличается от использования калькулятора?

LLM, в принципе, помогает всем, кто может сформулировать и уточнять запрос.
Нетривиальность математической задачи - это такое, для подавляющего большинства и задачи из рядового учебника со звёздочкой нетривиальны.

 Re: Проверка способности LLM решать математические задачи
Booker48 в сообщении #1724517 писал(а):
Нетривиальность математической задачи - это такое, для подавляющего большинства и задачи из рядового учебника со звёздочкой нетривиальны.

Нет, под нетривиальными понимались задачи, которых нет в задачниках, решебниках, в учебниках, статьях, в интернете. Иначе тривиальные, поскольку эти "гады" всех их запомнили.

 Re: Проверка способности LLM решать математические задачи
dsge в сообщении #1724518 писал(а):
Нет, под нетривиальными понимались задачи, которых нет в задачниках, решебниках, в учебниках, статьях, в интернете.

Гм, получается, что тест на "интеллектуальность" могут составить только и исключительно математики?
Боюсь, этот текст не пройдёт подавляющее большинство сапиенсов...

-- добавлено через 12 минут --

С другой стороны, математик в процессе обучения тоже изучает множество специфических текстов, и ему тоже кто-то ставит задачу.
Его заявления (о решении нетривиальной современной задачи) недостаточно, требуется верификация математическим сообществом, иногда - с "дорешиванием", история доказательства ВТФ в этом плане показательна.
Не так просто различить в этом смысле LLM и "кожаного" математика. Ну, если на выходе всё же - признанное математическим сообществом решение.
Мы же (надеюсь) не приписываем научному руководителю аспиранта доказанную последним теорему?

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Booker48 в сообщении #1724519 писал(а):
Гм, получается, что тест на "интеллектуальность" могут составить только и исключительно математики?
Боюсь, этот текст не пройдёт подавляющее большинство сапиенсов...

Ну сыграйте с LLM в шахматы, оцените реальную "интеллектуальность", когда примерно после двадцатого хода она начнёт делать невозможные ходы. ИМХО, к LLM стоит относиться просто как к продвинутой системе поиска.

 Re: Проверка способности LLM решать математические задачи
dsge в сообщении #1724518 писал(а):
Нет, под нетривиальными понимались задачи, которых нет в задачниках, решебниках, в учебниках, статьях, в интернете. Иначе тривиальные, поскольку эти "гады" всех их запомнили.
Э, нет. Как раз с запоминанием редких фактов у LLM сложности. Как пример: галюцинирует несуществующие статьи. Он силён в генерализации. Запоминает способ доказательства, используемый в ряде теорем, например.

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Cuprum2020 в сообщении #1724515 писал(а):
Но по сути ведь получается что нетривиальная задача эта решается математиком, а LLM - инструмент (который нематематику в решении нетривиальных задач не поможет ровно никак). И чем это принципиально отличается от использования калькулятора?

Примерно тем же, чем от использования калькулятора отличается чрезвычайно одаренный аспирант. Калькулятор обсчитывает готовое решение - LLM его генерирует. Задачу решает именно LLM - роль человека пока незаменимая, но вспомогательная. Уже здесь и сейчас в кооперации многих профессиональных математиков с LLM последняя явно умнее - но она нуждается в руководстве и контроле. Более подробно см. на конкретных примерах.

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
realeugene в сообщении #1724525 писал(а):
Как раз с запоминанием редких фактов у LLM сложности. Как пример: галюцинирует несуществующие статьи. Он силён в генерализации. Запоминает способ доказательства, используемый в ряде теорем, например.
Да, все так. Чтобы LLM запомнила конкретный факт, он должен встречаться в обучающей выборке много раз. В препринте, который в прошлом году широко обсуждался в узких кругах, оценивается вероятность галлюцинации в конкретном факте. Авторы использовали день года, в который родилась историческая личность, как пример факта, который невозможно ни из чего вывести, а можно только запомнить. Точный результат см. Corollary 1 (p.7), но качественно вывод ожидаемый: чем реже упоминаешь факт при обучении, тем чаще будет галлюцинировать. С задачами по математике ситуация несколько иная: в обучающих данных есть закономерности, и сеть может их усвоить. То есть она действительно может научиться решать задачи такого типа.

 Re: Проверка способности LLM решать математические задачи
MoonWatcher в сообщении #1724527 писал(а):
LLM его генерирует

LLM генерирует решение по подсказкам математика, примерно как студент на экзамене по наводящим вопросам преподавателя. По крайней мере у меня такое мнение сложилось

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Cuprum2020
Преподаватель знает решение задачи, а математик - нет.

 Re: Проверка способности LLM решать математические задачи
MoonWatcher в сообщении #1724584 писал(а):
Преподаватель знает решение задачи, а математик - нет

Да вот у меня есть ощущение что на самом деле математик тоже знает решение, а нейросеть только помогает доказательство на 100+ страниц красиво и подробно расписать

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Cuprum2020
Факты категорически опровергают ваши ощущения. Конечно, есть и такие случаи, но про них нечего рассказывать - это рутина. Выше приводятся случаи, где ИИ сыграл ключевую роль в решении проблем из списка Эрдеша, например. Кстати, на днях слушал интервью прикладного математика Натальи Берловой, первую в истории женщину-профессора при Кембриджском университете. Так вот она прямо говорит о наступлении кризиса в аспирантуре - зачем несколько лет обучать аспирантов, которые будут неделями или месяцами решать задачи в рамках общего исследования, если ИИ может сделать это за один вечер? Вряд ли речь идет о любых аспирантах и уж конечно речь не идет о любых задачах, но тенденция (с точки зрения подготовки научных кадров безусловно негативная) замещения аспирантов искусственным интеллектом налицо.

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Тем временем модель OpenAI опровергла одну из основных гипотез в дискретной геометрии

 Re: Проверка способности LLM решать математические задачи
MoonWatcher в сообщении #1724605 писал(а):
зачем несколько лет обучать аспирантов, которые будут неделями или месяцами решать задачи в рамках общего исследования, если ИИ может сделать это за один вечер? Вряд ли речь идет о любых аспирантах


А) Математики примерно с этого момента будут не нужны
Бэ) Математики не проходят стадию аспиранта - они уже вылупляются математиками
Цэ) Математики нужны не только лишь все, а исключительно те которые решают задачи, неподвластные ИИ. Следующим шагом будет отбор шахматистов, способных обыграть Стокфиш на максимальной глубине расчетов, и выбрасывание остальных на мороз.

Какая из точек зрения А, Бэ и Цэ - Ваша?

 Re: Проверка способности LLM решать математические задачи
MoonWatcher в сообщении #1724658 писал(а):

Мдя... Ситуация всё больше напоминает историю со SpaceX.
"Пусть сначала выведет хоть что-то на орбиту..." и т.д.
Настают последние времена.

 Re: Проверка способности LLM решать математические задачи
Аватара пользователя
Что имеете в виду под последними временами? Может это лучше в другой теме обсудить?

 [ Сообщений: 77 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group