ИИ и перспективы математики и математического образования

[ozheredov]

MoonWatcher в сообщении #1729181 писал(а):

На примере таких событий как IMO очень занятно наблюдать за скоростью прогресса.

Продолжайте вести наблюдение. Мы с Вами свяжемся.

https://www.youtube.com/watch?v=-Cvy29qKS-s

[Klein]

С появлением общедоступного ИИ похоже наш университет возвращается к системе оценивания, существовавшей 30 лет назад. Совсем недавно по многим предметам математики итоговая оценка распределялась в соотношении 50 на 50 или 60 на 40, причем на письменный экзамен приходилось соответственно 50% или 40%. Теперь уже по некоторым предметам письменный экзамен составляет 80% итоговой оценки. Промежуточное тестирование в середине семестра дает еще 10%. Это тоже письменный тест. Оставшиеся 10% - за 10 самостоятельных работ, выполняемых в течение семестра. Такая система оценки была 30 лет назад.
Компьютерных тестов с выбором ответа уже совсем нет. Если раньше студентов просили оформлять работы с помощью LaTeX и других подобных систем, то теперь все чаще просят и даже рекомендуют писать ручкой на бумаге и сдавать сканы или фотографии своих работ. Некоторые студенты в последнюю минуту перед сдачей отправляют работы, сгенерированные LLM и обфусцированные непонятно какими фильтрами. Так они хотя бы самостоятельно напишут что-нибудь в этих десяти работах, составляющих 10% итоговой оценки.
На экзаменах запрещены калькуляторы, часы и очки с ИИ и другие подобные устройства. Скоро на важных экзаменах вернут и устную часть? Видимо только богатые ВУЗы смогут позволить себе проведение устной части.
Некоторые преподаватели дают дополнительные баллы за посещение небольших семинаров. Я бы сделал обязательным посещение определенного количества таких занятий в течение семестра.
Ручка, карандаш, линейка, циркуль и бумага. Экзамен - 80%, тест в середине семестра - 10%, еще 10% - за 10 работ, выполненных на бумаге. За неразборчиво написанную работу снижение оценки.
Все будет нормально и с образованием, и с профессиями математика и педагога. Общество приспособится и к этим нововведениям. Боязнь ИИ в образовании напоминает мне статью 1980-ых о педагогах, которые вышли на акции протеста в США , требуя запретить использование калькуляторов в школах.

[Combat Zone]

Klein в сообщении #1729205 писал(а):

С появлением общедоступного ИИ похоже наш университет возвращается к системе оценивания, существовавшей 30 лет назад. Совсем недавно по многим предметам математики итоговая оценка распределялась в соотношении 50 на 50 или 60 на 40, причем на письменный экзамен приходилось соответственно 50% или 40%. Теперь уже по некоторым предметам письменный экзамен составляет 80% итоговой оценки. Промежуточное тестирование в середине семестра дает еще 10%. Это тоже письменный тест. Оставшиеся 10% - за 10 самостоятельных работ, выполняемых в течение семестра. Такая система оценки была 30 лет назад.

Вы точно работали 30 лет назад?

[Klein]

Combat Zone в сообщении #1729209 писал(а):

Klein в сообщении #1729205 писал(а):

С появлением общедоступного ИИ похоже наш университет возвращается к системе оценивания, существовавшей 30 лет назад. Совсем недавно по многим предметам математики итоговая оценка распределялась в соотношении 50 на 50 или 60 на 40, причем на письменный экзамен приходилось соответственно 50% или 40%. Теперь уже по некоторым предметам письменный экзамен составляет 80% итоговой оценки. Промежуточное тестирование в середине семестра дает еще 10%. Это тоже письменный тест. Оставшиеся 10% - за 10 самостоятельных работ, выполняемых в течение семестра. Такая система оценки была 30 лет назад.

Вы точно работали 30 лет назад?

Я не работал 30 лет. Я знаю что было 30 лет в университе о котором я пишу.

[Combat Zone]

Тогда вы не можете достоверно знать.

[Klein]

Combat Zone в сообщении #1729211 писал(а):

Тогда вы не можете достоверно знать.

Это почему?

[Combat Zone]

У нас интересный разговор. Я не хочу вас ни в чем упрекнуть или задеть, но я искренне недоумеваю. Потому что мне как раз приходилось работать в вузах начиная с 90х. И все всегда принималось устно. По сию пору. Кроме тех случаев, когда был совсем завал и надо было, чтобы все списали.
Ну и да, начииная с 2010х еще и БРС грянула, где-то ее придерживаться были вынуждены (кто-то забил). Но это не 30 лет назад вроде.
То есть вы мне рассказываете про то, как было все устроено на протяжении почти всей моей карьеры.. поправка... в вашем вузе.
Ладно, допускаю, что он особенный. Или уж очень сильно небогатый, хотя и у нас тут не сказать чтобы.

К LLM индустрии я тоже имею отношение, так что имею возможность смотреть на ваш пост и с одной стороны и с другой. И нет, калькулятор и моделька это не одно и то же, калькулятор сам за тебя ничего не посчитает, тоже надо знать как пользоваться калькулятором, и область применимости - для моделей.

И если бы у вас были эти два ракурса, если бы вы смотрели под разными углами на объект обсуждения, может, вы бы не были столь оптимистичны.

И еще есть мне что сказать по этому поводу, но не с утра же в рабочий день.

Но на самом деле, нужды в этом нет. Жизнь все равно распорядится по-своему.

[Mikhail_K]

Klein в сообщении #1729205 писал(а):

Скоро на важных экзаменах вернут и устную часть? Видимо только богатые ВУЗы смогут позволить себе проведение устной части.

Для меня это звучит как что-то с другой планеты. Я работаю в обычном региональном вузе, все экзамены всегда были устными и я плохо понимаю, как можно по-другому.

Klein в сообщении #1729205 писал(а):

Если раньше студентов просили оформлять работы с помощью LaTeX и других подобных систем, то теперь все чаще просят и даже рекомендуют писать ручкой на бумаге и сдавать сканы или фотографии своих работ.

Это очень не разумно.
Разумеется, работы должны теперь выполняться с использованием LLM. Если есть отличный инструмент, то роль вуза - учить им пользоваться. Попытки это как-то запретить будут полностью бесплодны и бессмысленны.
Только, конечно, теперь не работает схема "студент сдал - преподаватель проверил и поставил оценку".
Все письменные работы должны разделиться на две части: 1) необязательные и не на оценку, а просто для того, чтобы студент лучше разобрался в материале; сдавать их даже и не нужно, если у студента нет по ним вопросов (это, например, математические задачи; тут можно и нужно рекомендовать попробовать решить их без LLM, а потом через LLM проверить; смысл этого пункта в том, что будет очная контрольная работа, на которой все навыки будут проверяться, и если студент их не получил, то и контрольную работу не сдаст); 2) работы, которые выполняются в LaTeX и, конечно, с помощью LLM, а затем устно защищаются; и если оказывается, что студент хоть что-то в собственной работе не понимает, то это очень жирный минус.

[dsge]

dsge в сообщении #1724970 писал(а):

загрузить всю информацию по физике, астрономии, математике только до 1914 года, Риманова геометрия уже была известна, аномальная прецессия перигелия Меркурия тоже, и даже СТО. Выведет тогда LLM уравнения Эйнштейна?

Дан развернутый ответ на этот вопрос.
https://openreview.net/attachment?id=klU4737opt&name=originally_submitted_PDF
Автор не из любителей получить "знания" на хабр-помойке, или необразованный владелей OpenAI, а человек лучше всех в мире знающий как LLM делают математику, поскольку конструирует эти модели и обучает их этому. Лидер the Discovery team at Google DeepMind, возглавлял AlphaProof проект.
Основные тезисы работы:

Цитата:

While modern Generative AI excels at pattern recognition (induction) and logical proofs (deduction), we argue it fundamentally lacks the capacity for "abduction"—the intuitive leap required to generate novel explanatory hypotheses.

Using Einstein’s formulation of General Relativity as a case study, we demonstrate that LLMs are structurally incapable of creating new foundational axioms, particularly when observational data is scarce.

Т.е. в самой структуре LLMs заложена невозможность создание чего-либо реально нового.

[Mikhail_K]

dsge в сообщении #1729634 писал(а):

Автор не из любителей получить "знания" на хабр-помойке, или необразованный владелей OpenAI, а человек лучше всех в мире знающий как LLM делают математику

Довольно забавно, что как ИИ-оптимисты, так и ИИ-пессимисты почти одинаковыми словами используют апелляцию к авторитету, причём основываются на не очень глубоких высказываниях соответствующих авторитетов. Согласитесь, что в самой статье математики и описания структуры LLM не очень много. Не нравится мне тут злорадная агрессивность при высказывании этих мнений. (И честно говоря, мне совершенно непонятно желание думать, и искать подтверждения этому в таких статьях, что "ИИ не сможет создавать ничего реально нового").

dsge в сообщении #1729634 писал(а):

Т.е. в самой структуре LLMs заложена невозможность создание чего-либо реально нового.

Да нет в статье такого глобального вывода. Утверждается, что современные LLM не способны открыть ОТО, и обсуждаются способы сделать так, чтобы были способны. В любом случае, неспособность сделать открытие века - не то же самое, что неспособность "создать что-то реально новое". То, что LLM умеют только анализировать тексты и им не хватает чувственного опыта для больших открытий - идея давняя и понятная, хотя чувственный опыт в значительной мере можно заменить инструментами моделирования, которые у LLM есть уже сейчас.

[Mihaylo]

Альберт Эйнштейн родился в 1879, а мой прадед примерно чуть позже. Но допустим, что они были ровесники, но почему-то именно Альберт Эйнштейн открыл уравнение. Давайте признаем моего прадеда способным открывать что-то новое, просто Эйнштейн опередил. А если несогласны, прошу аргументировать.

[Mikhail_K]

Mihaylo
Не понял, о чём Вы. Я не знаю, был ли Ваш прадед способен открыть что-то новое. Вряд ли он был способен открыть именно ОТО, а насчёт какого-нибудь другого "нового" - я не знаю.
Тем более что сама фраза "уметь создать что-то реально новое" кажется мне очень нечёткой и субъективной; её использование скорее отражает не реальность, а желание её произносящего думать так или иначе.

[dsge]

Mikhail_K в сообщении #1729637 писал(а):

Да нет в статье такого глобального вывода.

Если у вас проблемы с языком, тогда что же вы не можете вставить текст в LLM и перевести?

Mikhail_K в сообщении #1729637 писал(а):

Согласитесь, что в самой статье математики и описания структуры LLM не очень много.

Вам это так важно? Вы так хорошо знаете математику и структуры LLM? Может надо было раскрыть технологические секреты Google DeepMind как решать мат проблемы, используя LLM?

Mikhail_K в сообщении #1729637 писал(а):

Довольно забавно, что как ИИ-оптимисты, так и ИИ-пессимисты почти одинаковыми словами используют апелляцию к авторитету, причём основываются на не очень глубоких высказываниях соответствующих авторитетов.

Нет спора, что ваше понимание проблемы намного глубже, чем у упомянутого "авторитета". Автор вышеуказанной статьи в коротком комментарии в Х указал, что точка зрения изложенная в работе принадлежит только автору, а не корпорации Гугл. Такая открытость и откровенность не может не вызывать уважения. Возможно это корпоративная политика Гугла. В целом Гугл в публичном пространстве не столь криклив как OpenAI.

[Mikhail_K]

dsge в сообщении #1729640 писал(а):

Нет спора, что ваше понимание проблемы намного глубже, чем у упомянутого "авторитета".

Разве я где-то это утверждал?
Я нигде не говорил, что автор статьи неправ. Тем более что заметных научных открытий мы от LLM пока не видели.
Статья просто не кажется мне основанием для глобальных и сильных выводов. Это мнение специалиста об ограничениях современных LLM.

[mihaild]

dsge в сообщении #1729634 писал(а):

возглавлял AlphaProof проект

При всём уважении к Тому

DeepMind blog писал(а):

AlphaProof development was led by Thomas Hubert, Rishi Mehta and Laurent Sartran; AlphaGeometry 2 and natural language reasoning efforts were led by Thang Luong.

AlphaProof was developed with key contributions from [...], Tom Zahavy, [...]

Кстати интересно, по каким признакам у Вас то решение IMO нейронками это маркетинговый хайп, то участие в этом решении - признак очень высокой квалификации.

В целом я аргументацию про abductive jump не понял, мне она представляется просто заявлением, что Эйнштейн умел делать что-то, названное этим мутным термином, а современные LLM - нет.
Я подозреваю, что почти любой человек, если ему объяснить известный Эйнштейну диффгем и посадить в лифт, вывести ОТО не сможет. Значит Эйнштейн умел что-то еще, помимо знания диффгема и опыта поездок в лифте. Что такое это "что-то еще", обладают ли им LLM, и достаточно ли этого для вывода ОТО, или прямо обязательно нужен еще опыт поездок - в тексте не рассматривается.
Ну и плюс

Цитата:

However, recent architectures like Genie (Bruce et al., 2024) mark a fundamental shift by introducing actioncontrollability into generative world models. [..] We argue that physically consistent, action-controllable world models are not just useful, but are theoretically sufficient to enable abductive leaps.

Я думаю, что для 95% обсуждений "захватит ли ИИ мир" разницы между Gemini и Genie нет.

Mikhail_K в сообщении #1729637 писал(а):

Довольно забавно, что как ИИ-оптимисты, так и ИИ-пессимисты почти одинаковыми словами используют апелляцию к авторитету, причём основываются на не очень глубоких высказываниях соответствующих авторитетов.

Минутка диванной психоаналитики: тема предельно мутная, нормальных аргументов кот наплакал, поэтому остается только надеяться, что специалисты знают. Ну и естественно ошибка подтверждения поверх.

dsge в сообщении #1729640 писал(а):

Может надо было раскрыть технологические секреты Google DeepMind как решать мат проблемы, используя LLM?

Да в общем-то на рукомахательном уровне это опубликовано https://www.nature.com/articles/s41586-025-09833-y. Детали, естественно, не опубликованы, но и никаких чувствительных к деталям в статье утверждений нет. Я собственно не могу понять, что в ней сломается, если заменить LLM на Хокинга, у которого с сенсорным опытом тоже проблемы.

dsge в сообщении #1729640 писал(а):

Возможно это корпоративная политика Гугла

Это политика всего бигтеха (как минимум). Любое не прошедшее 50 этапов согласования высказывание должно помечаться как личное мнение сотрудника*.
[*] это моё личное мнение, которое может отличаться от официальной позиции компании