Защита от чат-ботов в образовании

[gevaraweb]

Проводил тест, по дисциплине ИТ. Столкнулся с тем, что студент копирует задание, вставляет в чат бот, получает и вводит решение.
Написал свой тест, задание генерировал в виде картинки с помощью js и canvas.
Студенты нашли бота, который принимает вопросы в виде картинки.
Как бороться? Подумываю шумы на картинке добавить. Но как сделать, чтобы и читабельно, и спасало от чат-бота.
Кто-нибудь столкнулся с этой проблемой?
Конечно, можно еще к сисадмину пойти, чтобы заблокировал ресурсы. Но я боюсь, что зеркал немерено этих ботов.
Да и часть заданий (СРС) студент делает дома...

[Dedekind]

Никак. Тем более, раз часть заданий домашние, а значит по умолчанию можно использовать любые источники. Тут только менять формат тестов. На устный опрос в режиме реального времени, например.

[vpb]

Ввести такой порядок, чтобы оценка за домашку, в т.ч. "тест дома", на итоговую оценку никак не влияла. Т.е., дети, домашка --- это вам для тренировки, не более того. По моим воспоминаниям, в 9-м классе и позже я никогда никаких оценок за домашнюю работу не получал.

[gevaraweb]

Dedekind в сообщении #1628826 писал(а):

На устный опрос в режиме реального времени, например.

Честно говоря, лень этим заниматься :). Да и устно не проверить навыки. У меня тест "кейсовый", например, задание, создать html-ссылку на данную страницу Википедии (это простой пример).

vpb в сообщении #1628882 писал(а):

"тест дома", на итоговую оценку никак не влияла.

Ну, когда за каждую решенную задачу капает 0.2, это все равно мотивирует ) Часть таких задач решают на паре.
В итоге, как я понял, далеко не у всех студентов есть доступ к ботам. И
1) Все формулировки заданий нарисовал в canvas;
2) Задач делаю много, но они несложные, чтобы выгоднее было студенту решить задачу самому, а не набирать для чат-бота;

Подумываю добавить шум мелкими буквами на англ. языке ))

[Mikhail_K]

gevaraweb в сообщении #1630206 писал(а):

Ну, когда за каждую решенную задачу капает 0.2, это все равно мотивирует )

На самом деле, рейтинговая система никого не мотивирует к освоению предмета. Я много лет её использовал, пока не понял, что она очень вредна.
Она мотивирует только к сдаче решённых задач. Кто-то решает самостоятельно, кто-то списывает у друга, кто-то у чат-бота. Но и те, кто решает самостоятельно, в итоге ставят себе цель набрать баллы, а не освоить предмет.
Точнее, даже так: набрать минимум баллов для получения желаемой оценки. Для некоторых студентов - занять первое-второе место.

Почитайте книгу Пинка "Драйв. Что на самом деле нас мотивирует". На многих примерах показывается, что если у человека есть интерес к какому-то занятию, вознаграждениями он сбивается, а не поддерживается. Это даже с зарплатой работает: люди работают тем эффективнее, чем реже им приходится задумываться о своей зарплате (то есть просто когда она достойная, поступает регулярно, от выполнения каких-то конкретных подзаданий не зависит). Во всяком случае, на творческих работах. Есть и множество других исследований на эту тему.

Рейтинговая система плоха тем, что она маскирует проблемы. Преподавателю хочется, чтобы его задачи выполнялись? - рейтинговая система в этом поможет. Но у студентов сформируется установка, что решают задачи они только для того, чтобы набрать баллы, а не для того, чтобы научиться чему-то полезному для себя.

Вы думаете, что без баллов студенты вообще не будут ничего решать? Тогда у вас проблемы, которые рейтинговая система не решает, а маскирует. Если студентам ваш предмет кажется ненужным, неинтересным, бесполезным - то они забудут его мгновенно после сдачи экзамена. Да скорее всего и до экзамена не научатся по-настоящему, а лишь натренируются решать задачи. Без интереса освоить что-то сложное невозможно. Вполне вероятно (но не факт!), что без рейтинговой системы результаты ваших студентов станут скромнее, зато они будут отражать реальную картину их обучения.

-- 19.02.2024, 12:52 --

Обучение невозможно по принципу обмена "ты мне задачи, я тебе оценки". Обучение возможно только по принципу сотрудничества "хочешь научиться? тогда я тебе помогу, сделай для начала вот это".

-- 19.02.2024, 12:59 --

К слову, отказ от рейтинговой системы часто приводит к пониманию, что и задачи студентам нужно предлагать другие. Кому-то проще, кому-то сложнее - но только такие, которые позволят студентам почувствовать, что они научились чему-то полезному или интересному. С рейтинговой системой можно задавать студентам задания, не думая и не объясняя, а зачем их вообще нужно делать; без рейтинговой системы так не получится.

[Dedekind]

gevaraweb в сообщении #1630206 писал(а):

Да и устно не проверить навыки.

Ну, устно - это я условно сказал. Можно и за компом. Имелось в виду, чтобы студент в режиме реального времени на глазах преподавателя создавал эту самую html-ссылку. Понятное дело, что лень:) Но это единственно известный надежный способ избежать списывания.

Mikhail_K
А что делать с теми, кому и нужно набрать минимальное количество баллов и забыть про предмет? Отчислять нельзя, ставить неуд - тоже. В итоге все равно все сведется к тому, что ты им даешь минимально необходимый набор заданий, они их честно списывают и ты ставишь им 3-ку. Только с гораздо большей нервотрепкой, чем если в самом начале четко оговорить критерии оценивания и баллы за каждую работу.

[Mikhail_K]

Dedekind
Начну с такого вопроса.

Dedekind в сообщении #1630226 писал(а):

В итоге все равно все сведется к тому, что ты им даешь минимально необходимый набор заданий

Кому необходимый? Если студенту, то тут некоторое противоречие с

Dedekind в сообщении #1630226 писал(а):

А что делать с теми, кому и нужно набрать минимальное количество баллов и забыть про предмет?

А если преподавателю, то стоит задуматься, а зачем ему это.

Dedekind в сообщении #1630226 писал(а):

Отчислять нельзя, ставить неуд - тоже.

В моём университете можно и ставить двойки, и отчислять. Я стараюсь этого не делать - как правило, студенты отчисляются сами (переводятся на другие специальности, где учиться проще), если понимают, что на этой специальности вообще ничего не понимают. Такое бывает значительно чаще, чем насильственное отчисление на комиссии.

Допускаю, что есть университеты, в которых "нельзя ставить двойки и нельзя отчислять". Но если руководство университета настаивает на этом, то тем самым оно снимает с преподавателей ответственность за то, что необученный студент может получить диплом. В таком случае я бы просто отстал от студента, совсем не желающего учиться, и поставил бы ему 3 просто за факт явки на экзамен.

Ставить условия, что студент должен что-то сдать, пусть некачественное, непонятое или списанное - это значит заставлять выполнять бессмысленный труд ради красивой картинки ("смотрите, у меня каждый студент что-то сдал"). Мне кажется, эта картинка не стоит того.

Может возникнуть вопрос - так если студенты увидят, что тройки ставят за просто так, то из них никто учиться не будет. Это не так, если преподаватель не просто даёт задания, а старается объяснить, чем они полезны, а также готов сколь угодно существенно отклоняться от программы в зависимости от интересов студентов.

[Dedekind]

Mikhail_K в сообщении #1630244 писал(а):

Кому необходимый?

Видимо, необходимый универу, чтобы студенты не распускали слухи, что тут оценки совсем уж просто так выставляют:)

Mikhail_K в сообщении #1630244 писал(а):

В таком случае я бы просто отстал от студента, совсем не желающего учиться, и поставил бы ему 3 просто за факт явки на экзамен.

Да, я бы тоже. Но вот у меня универ требует, чтобы обязательно было отправлено задание такому студенту, и получен ответ от него (правильность, разумеется, не проверяется). Наверное, это можно саботировать. Но меня волнует как раз вот это возражение

Mikhail_K в сообщении #1630244 писал(а):

Может возникнуть вопрос - так если студенты увидят, что тройки ставят за просто так, то из них никто учиться не будет.

Я вот вовсе не уверен, что даже мотивированные студенты не сольются, если ставить оценки просто так. Какая бы не была мотивация, сама возможность халявы по-определению расслабляет. С другой стороны, даже на то, чтобы найти бота/человека, которые сделают им задание, нужно потратить определенное количество усилий и времени (или их денежный эквивалент). Возможно, некоторые задумаются, нужно ли им это, и не проще ли все-таки что-то подучить самостоятельно.

Mikhail_K в сообщении #1630244 писал(а):

Это не так, если преподаватель не просто даёт задания, а старается объяснить, чем они полезны, а также готов сколь угодно существенно отклоняться от программы в зависимости от интересов студентов.

Да, в лучшем из миров и для лучших из преподавателей:) Но ведь не все такие, и середнячкам тоже нужно как-то работать.

[Duncan_MacLoud]

У вас всех людей подход неверный в корне.
Одним не даёт понимание как устроен мозг, другим эго, третьим попытки запретить от собственной неуклюжести и неуверенности.
Начните с того, чтобы студент САМ захотел решить задание.

[Deathrose]

В математике такой проблемы пока нет, чат-боты решают практически все задачи за пределами тривиальных неправильно. Точнее, если задача решается прямой ссылкой на какую-нибудь теорему, то может и да (по факту все равно нет), а вот если хоть сколько-то нужно думать, то туши свет. Правда, это относится к чату гпт, у четвертого дела может быть лучше обстоят.

[gevaraweb]

Mikhail_K в сообщении #1630218 писал(а):

Что на самом деле нас мотивирует

Мотивация крайне важна, тут согласен. Всегда на первой лекции нужно не пожалеть время, и рассказать зачем материал предмета нужен, какие проблемы он решает и пр. А не сразу в лоб: Опр1 Опр2 Теорема 1.
С остальным больше не согласен. Баллы - это удобно ).

Мне автокейсы удобны еще чем.
Одна из проблем в обучении ИТ, на мой взгляд, следующая. Чтобы научиться чему-то, это нужно проделать несколько раз.
Если студент сделал лабу "Формы", он, на мой взгляд (и на поверку оказывается), еще не научится и быстро забудет, и что-то просто не поймет. Вот если он сделает 5 форм, пусть небольших, это будет эффективнее.

И проблема в обучении ИТ - очень сложно проверить правильность всех пяти форм у 20 чел.в группе. Сложно проверить, что он ознакомился со всеми нюансами.
А с автокейсами у меня студент сделает 5 форм ) И на самом деле это не так сложно для студента. Первую форму он будет делать мин 30, вторую 10, потом 5 и т.д. Зато научится.