ИИ, олимпиады и дом. задания по математике для студентов

[nnosipov]

Ende
Выделено из темы «Проверка способности LLM решать математические задачи»

ozheredov в сообщении #1707836 писал(а):

Но уж коли мы признаём в нейронке человека (а по голосу nnosipov я это чувствую )

Решения тех задач, что я даю AI, в лучших своих версиях (когда размышление растягивается на продолжительное время) очень напоминают решения школьников на олимпиадах --- ошибки вполне человеческие, и даже сам стиль рассуждений порой не отличишь).

Похоже, не слишком сложные (а точнее, более-менее стандартные) олимпиадные задачи теперь уже корректно решаются AI. Мне кажется, есть риск того, что всякие онлайн-олимпиады могут выродиться в решение математически мало осмысленных, но безумно сложных головоломок.

[wrest]

nnosipov в сообщении #1708156 писал(а):

Мне кажется, есть риск того, что всякие онлайн-олимпиады могут выродиться в решение математически мало осмысленных, но безумно сложных головоломок.

Ну примерно как шахматы, наверное. Для людей смысл имеет только онлайн с другими людьми, а оффлайн задачи это для компьютеров, или для людей но уже не в соревновательном смысле. Уходит эпоха, да.
Это сейчас ещё, как я понимаю, ИИ не учится на диалогах с пользователями, если по-шахматному, то не пополняет базу дебютов. Но очевидно, что дальше будет пополнять. И если ИИ с вашей помощью решил задачу, то она окажется у него в базе данных. И даже если не решил, то очень вероятно, что допишут так, что будет решать сам без вас, особенно если эту же задачу задаст кто-то ещё.

[vicvolf]

wrest в сообщении #1708160 писал(а):

Это сейчас ещё, как я понимаю, ИИ не учится на диалогах с пользователями, если по-шахматному, то не пополняет базу дебютов. Но очевидно, что дальше будет пополнять. И если ИИ с вашей помощью решил задачу, то она окажется у него в базе данных. И даже если не решил, то очень вероятно, что допишут так, что будет решать сам без вас, особенно если эту же задачу задаст кто-то ещё.

Вот здесь мне кажется проблема. Для погружения в общую базу знаний ИИ должен быть уверен в правильности загружаемой информации. Но ИИ не может доверять себе контроль информации. В противном случае любое, кажущееся ему правильным утверждение, он должен заносить в общую базу знаний. В пределах темы вы можете, что-то доказать ИИ, но вне темы он обладает знаниями только общей базы знаний.

[nnosipov]

wrest в сообщении #1708160 писал(а):

Уходит эпоха, да.

Да ладно олимпиады. Как сохранить мотивацию студентов самостоятельно решать содержательные задачи? Что такое теперь "нестандартная задача", в частности, "нестандартная учебная задача"?

Вот пример задачи, которую я считал содержательной учебной задачей, решить которую студенту будет непросто (а за ее корректное решение можно было бы выдать приз в виде улучшенной оценки на экзамене; время для решения не ограничивалось):

Найти алгоритм для решения следующей задачи: для данного модуля $m$ найти пару $(x,y)$ целых чисел так, чтобы $x^2-34y^2 \equiv -1 \pmod{m}$. Алгоритм должен работать за разумное время (несколько секунд) для модулей $m$ порядка $10^{100}$.

Сейчас дипсик за 10 минут справился с ней так, что не подкопаешься. Мне пришлось заняться извращениями: вводить запреты на те или иные методы. Например, запретить использовать гензелев подъем (о запрете на факторизацию модуля и говорить не пришлось). Это натуральное извращение, и здесь дипсик пока не сообразил (что несколько странно, ведь основную идею он прочухал). Но как такое предлагать студентам? Конечно, остаются еще сложные задачи, которые этим AI-парням не под силу. Но давать только сложные задачи в качестве учебных --- это еще большее извращение.

В общем, интересная эпоха наступает в математическом образовании.

[Dedekind]

nnosipov
А зачем вообще извращаться? Один раз объяснить студентам, что цель учебных задач - прокачать их собственные мозги. А решение через ИИ этой цели не достигает. И всё, дальше они взрослые люди, пусть сами выставляют себе приоритеты, что им важнее: просто получить оценку или вдобавок ещё и знание.

[nnosipov]

Dedekind в сообщении #1708171 писал(а):

И всё, дальше они взрослые люди

Хе-хе) Современный студент стремится к оптимизации, и если за что-то можно получить плюшки, не особо при этом напрягаясь --- это будет сделано на автопилоте. (Разумеется, я по своим студентам сужу.) Видимо, придется как-то девальвировать систему плюшек, вводить "презумпцию виновности" и т.п. Хорошо бы, конечно, если бы студенты относились по-взрослому к процессу обучения, но это маниловщина какая-то. Да и взрослый человек может быть ленив.

Да, господа, главное: студентов нельзя выгонять (т.е. кнута у нас в принципе нет).

[Mikhail_K]

nnosipov в сообщении #1708170 писал(а):

Как сохранить мотивацию студентов самостоятельно решать содержательные задачи?

Согласен с Dedekind. К этому стоит добавить, что для того чтобы не было искушений и связанных с ними нарушений академической честности, не стоит давать в качестве обязательных заданий (за отсутствие решения которых будут санкции) что-то такое, над чем нужно долго ломать голову.

Последние несколько лет на своих предметах в университете (правда, не очень сильном) я применяю именно такой подход. Главное домашнее задание у меня - не решать задачи, а читать книги и разбираться в них. Хотя и задачи иногда задаю, но реже - обычно их решаем на занятиях; и ещё для заинтересованных студентов у меня всегда есть задания на подумать. Любые задания даются не в авторитарной парадигме ("сделай это, иначе поставлю два") - вместо этого я стараюсь убедить студентов в том, что им было бы полезно выполнить эти задания, чтобы разобраться в теме. А кого-то и убеждать не надо, сами просят им задания дать.

Вообще, мотивация самостоятельно решать сложные задачи - мало у кого есть, и это всегда так было. Можно пытаться создавать условия, чтобы эта мотивация могла появиться, но не надеяться на многое. Если студент решает задачу с помощью ИИ - значит, у него и не было мотивации самостоятельно её решить (и по-человечески это вполне понятно), а была мотивация получить оценку. Раньше это кое-как работало, но перестаёт работать.

Противоположные примеры есть. Люди, которым интересно во всём разобраться, могут неделями решать задачу из сборника задач, никуда не заглядывая, несмотря на то, что правильное решение написано в том же самом сборнике в разделе "Решения". Мне такие студенты известны, и я сам был таким студентом. Таких немного и не может быть много.

С другой стороны, многие ли студенты после обучения станут профессиональными математиками? А тем, кто не станет - нужно ли тратить на размышления слишком много личного времени (вне очных занятий)? Пусть думают над задачей на очных занятиях. Занятие закончилось - можно продолжать думать, если есть интерес, а можно и посмотреть в ответ (= обратиться к ИИ). Вообще, это по-своему правильно, что время вне занятий - это личное время студентов, и они сами могут им распоряжаться как захотят.

[nnosipov]

Mikhail_K в сообщении #1708175 писал(а):

не стоит давать в качестве обязательных заданий (за отсутствие решения которых будут санкции) что-то такое, над чем нужно долго ломать голову

Боже упаси. Обязательные задания у меня очень простые (ну, как простые, лет 5 назад тогдашние AI их не могли решить). Сложные задачи --- это для тех, кто хочет большего, все сугубо добровольно.

[Mikhail_K]

nnosipov в сообщении #1708177 писал(а):

Боже упаси. Обязательные задания у меня очень простые (ну, как простые, лет 5 назад тогдашние AI их не могли решить). Сложные задачи --- это для тех, кто хочет большего, все сугубо добровольно

Тогда всё просто. Думаю, что подозрительность (а не решил ли ты это с помощью ИИ, братец?) может только вредить учебной атмосфере. Надо один раз объяснить студентам, что это их ответственность - готовиться к занятиям. А задания - им в помощь, чтобы разобраться в трудном материале.

Кстати, вот Вам вопрос. Представьте, что есть ответственный студент, который хочет во всём разобраться. Начал он решать задание, решает час, решает другой, задание никак не поддаётся. Наверное, он не понял что-то важное из занятия, а если бы понял - задание было бы тривиальным, но вот так получилось. В этом случае он тоже не должен обращаться к ИИ, а должен принести Вам пустой лист и получить неуд? Какой в этом смысл?

<Конечно, если Вам можно принести не только полное решение на проверку, но и попытку решения, и получить от Вас подсказку - то ситуация другая. Я как раз делаю именно так. Но с другой стороны, и ИИ могут тоже давать частичные подсказки, для тех кто хочет разобраться а не просто списать - или скоро научатся.>

Я думаю, будут ИИ поумнее, можно будет даже предложить студентам использовать их как инструмент в обучении. Есть разные инструменты обучения - книги, конспекты лекций, видеолекции, домашние задачи, ИИ. Цель студента - разобраться в теме, используя все эти инструменты. Роль преподавателя - посоветовать, как эти инструменты использовать рациональнее и эффективнее (по крайней мере, не сразу обращаться к ИИ, а подумать вначале, а лучше всего и подольше подумать, если не получилось с первого раза). Чисто самостоятельная работа, конечно, тоже должна быть - на очных занятиях, контрольных работах и экзаменах.

nnosipov в сообщении #1708174 писал(а):

Видимо, придется как-то девальвировать систему плюшек, вводить "презумпцию виновности" и т.п. Хорошо бы, конечно, если бы студенты относились по-взрослому к процессу обучения, но это маниловщина какая-то. Да и взрослый человек может быть ленив.

Может, и вот что важно: имеет право быть ленивым. Все мы люди, всем присущи человеческие слабости.
Если студент, однако же, поступил в вуз, значит у него есть какой-то запрос. Наверное, он хочет научиться чему-то. По-моему, роль преподавателей - ему в этом помочь, а не подозревать и обвинять в чём-то. Не отбить мотивацию если она есть, поддержать её, создать условия для неё.
Есть студенты, которые изначально не планировали учиться и не готовы прилагать никаких усилий. Ну, если запроса нет, то и удовлетворить его невозможно, что бы преподаватель ни делал и какую бы "презумпцию виновности" ни вводил.

[Dedekind]

nnosipov в сообщении #1708174 писал(а):

Современный студент стремится к оптимизации, и если за что-то можно получить плюшки, не особо при этом напрягаясь --- это будет сделано на автопилоте.

Конечно. И в чем проблема? Опять же, они взрослые люди, полностью несут ответственность за свои решения.

nnosipov в сообщении #1708174 писал(а):

Видимо, придется как-то девальвировать систему плюшек, вводить "презумпцию виновности" и т.п.

А вот это нехорошо. Грубо говоря, лучше дать несправедливо высокую оценку халявщику, чем несправедливо низкую оценку студенту, который действительно трудился.

[nnosipov]

Mikhail_K в сообщении #1708181 писал(а):

Представьте, что есть ответственный студент, который хочет во всём разобраться. Начал он решать задание, решает час, решает другой, задание никак не поддаётся. Наверное, он не понял что-то важное из занятия, а если бы понял - задание было бы тривиальным, но вот так получилось. В этом случае он тоже не должен обращаться к ИИ, а должен принести Вам пустой лист и получить неуд?

Да это-то как раз простая ситуация --- когда ответственный студент студент не может решить несложную задачу, здесь ему разрешается привлекать хоть черта лысого. Пользоваться ИИ у меня разрешено студентам уже как год, совершенно официально. И потом, с ответственными студентами проблем никаких не возникает просто по определению, а неуды я вообще не ставлю ввиду бессмысленности. Здесь другая проблема --- когда не очень хороший студент может решить с помощью ИИ довольно сложную задачу и получить за это плюшку (поди докажи, что это не он сам решил).

[Mikhail_K]

nnosipov в сообщении #1708184 писал(а):

Здесь другая проблема --- когда не очень хороший студент может решить с помощью ИИ довольно сложную задачу и получить за это плюшку (поди докажи, что это не он сам решил).

Тут тоже просто - то, что плюшки полезны для обучения, это миф. Есть эксперименты, которые убедительно доказывают, что любые плюшки в любом деле вредят мотивации, как бы это парадоксально ни звучало. Приведу две популярные книги об этом, мне они кажутся убедительными:
Пинк. Драйв: что на самом деле нас мотивирует
Кон. Наказание наградой. Что не так со школьными оценками, системами мотивации, похвалой и прочими взятками
Не говоря о том, что в случае с домашними заданиями "награды" способствуют формированию академической нечестности.

Домашнее задание задаётся в помощь студенту, это инструмент, который студент может использовать для обучения, для того чтобы лучше разобраться в теме. Никаких санкций за невыполненное домашнее задание и никаких плюшек за выполненное.

[nnosipov]

Dedekind в сообщении #1708183 писал(а):

лучше дать несправедливо высокую оценку халявщику, чем несправедливо низкую оценку студенту, который действительно трудился

Это банальность, разговор не об этом. Хотя, вот лично меня жаба давит поставить пять халявщику.

-- Пн ноя 03, 2025 17:43:08 --

Mikhail_K в сообщении #1708186 писал(а):

то, что плюшки полезны для обучения, это миф

Наряду с кнутом вполне себе полезны. Но дискутировать об этом мне неинтересно.

Ну вот, договорись до того, что нас выделили в отдельную тему.

-- Пн ноя 03, 2025 17:52:50 --

Mikhail_K в сообщении #1708181 писал(а):

Есть студенты, которые изначально не планировали учиться и не готовы прилагать никаких усилий. Ну, если запроса нет, то и удовлетворить его невозможно, что бы преподаватель ни делал

Золотые слова. Но выгнать такого студента нельзя, это Вам в очень циничных терминах объяснит любая администрация. И если Вы с ней согласитесь (а Вы согласитесь, куда Вы денетесь), то в конце концов Вам придется с ним заниматься наукой, писать за него курсовые, дипломные и т.п.

[wrest]

Сама проблема (поднятый вопрос) похоже довольно старая уже:

Папа у Васи силен в математике,
Учится папа за Васю весь год,
Где это видано, где это слыхано,
Папа решает, а Вася сдает?

Скоро этот папа-математик будет у всех Васей не только школьников, но и студентов.

Насчёт олимпиад. Это же соревнования, спорт. С тренерами, тренировками и т.п. Ну так и в спорте допинг и прочее такое запрещено.
Я точный регламент например по Формуле-1 не знаю, но кажется, что замена водителя на ИИ там покажет кузькину мать живым спортсменам.

[nnosipov]

Кстати, если в моей задаче (см. post1708170.html#p1708170) сравнение $x^2-34y^2 \equiv -1 \pmod{m}$ заменить на $x^2+17xy+17y^2+1 \equiv 0 \pmod{m}$, то дипсик уже не справляется.

А сравнение $x^2-34y^2 \equiv -2 \pmod{m}$ решает только для простых $m$, причем вероятностным методом.