2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Crowdmark
Сообщение25.10.2018, 02:18 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
В последнее время в США и Канаде приобрела некоторую популярность система онлайн проверки тестов и экзаменов Crowdmark. Ее придумал лет 6 назад наш (теперь UBC) профессор Jim Colliander (ну a программировал его аспирант Martin Muños, очень смышленый парень). Сами работы пишутся на бумаге, сканируются и сканы аплодируются на сервер. Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа (вообще-то это поручается TA, но я решил по разу пройти все шаги сам).

Так получилось, что я ею не пользовался, но в этом семестре я согласился координировать 2 больших курса(600+ и 400+ студентов) [дураков работа очень любит, хотя и в несколько извращенной форме] и меня уговорили и мои коллеги по курсам и TA ее использовать.

Недавно прошли первые тесты с использованием системы, я набил несколько шишек по неопытности, но в целом доволен и намерен в дальнейшем ее использовать. Могу описать свой опыт, но не хотелось бы чтобы это рассматривалось в качестве рекламы, хотя в России ее, вероятно, использовать невозможно, поскольку 1) стоит денег (сколько--не знаю) и 2) работы аплодируются на сервера компании (что, скорее всего, будет запрещено). Но, м.б. может появиться подобная система. Кроме того, не хотелось бы чтобы это рассматривалось как блог (потому что если рассказывать, то придется долго).

Disclaimer: с Джимом мы не друзья, хотя отношения у нас очень хорошие, и мы учили курсы вместе.

Сразу скажу, что главное мое опасение "как комментировать?" оказалось беспочвенным: печатаешь текст, а математические выражения с помощью LаTeX, который процессируется на лету (и комментарии спасаются и могут быть использованы и в других работах), и т.д. Оценки ставятся за отдельные задачи и подзадачи и сумма автоматически входит в систему учета. Студенты тоже, вроде, смогут видеть свои проверенные работы онлайн, я с этим разберусь несколько позже. Я надеюсь, что это относится и к экзамену (в отличие от тестов, администрируемых преподавателями, экзамены администрируются деканатом, на руки студентам выдаются только копии по цене C$ 25, что чистый грабеж, т.б. что с профессорами не делятся :mrgreen: )

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 04:32 
Заслуженный участник


16/02/13
3301
Владивосток

(Оффтоп)

Red_Herring в сообщении #1348963 писал(а):
в несколько извращенной форме
Нет в постели извращений! Пока участникам это нравится.
Пока что из вашего описания вырисовывается что-то типа форума, где каждая работа как стартовый топик. Ну, с оценками, с организацией и т.п. Не думаю, что это можно счесть рекламой чего-то предосудительного. Ну и не думаю, что так уж тяжело это повторить на своём сервере, хоть с нуля, хоть с бесплатного движка.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 04:44 


12/05/07
355
г. Уфа
Red_Herring в сообщении #1348963 писал(а):
Сразу скажу, что главное мое опасение "как комментировать?" оказалось беспочвенным: печатаешь текст, а математические выражения с помощью LаTeX, который процессируется на лету (и комментарии спасаются и могут быть использованы и в других работах), и т.д. Оценки ставятся за отдельные задачи и подзадачи и сумма автоматически входит в систему учета.
То есть проверка всё-таки осуществляется Вами? Почему Вы не используете WebWork? Эта система 1) бесплатная, 2) берёт на себя проверку, 3) имеет очень большую базу готовых задач.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 06:46 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
iifat в сообщении #1348969 писал(а):
Пока что из вашего описания вырисовывается что-то типа форума, где каждая работа как стартовый топик.
Нет
Ruslan_Sharipov в сообщении #1348970 писал(а):
То есть проверка всё-таки осуществляется Вами? Почему Вы не используете WebWork? Эта система 1) бесплатная, 2) берёт на себя проверку, 3) имеет очень большую базу готовых задач.
ТА. Я смотрел базу несколько лет назад и там (еще, по крайней мере) не было того, что мне было надо. И, главное, она, как мне кажется, проверяет ответы, а не решения

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 20:45 


12/05/07
355
г. Уфа
Red_Herring в сообщении #1348975 писал(а):
И, главное, она, как мне кажется, проверяет ответы, а не решения.
Да. WebWork проверяет ответы. Но в нем есть разные типы задач, то есть задач с разным типом проверки ответов. В частности, есть тип задач, при котором студент печатает своё решение, а система его запоминает и отображает преподавателю для его проверки и выставления балла. При этом ничего не надо сканировать.

WebWork может проверить много ответов в одной задаче, поэтому студенту можно навязать ход решения. То есть Вы пишете условие задачи, посте этого пишете шаблон её решения, оставляя поля, куда студент вводит результаты промежуточных вычислений.

Я не видел в базе таких задач, но полагаю, потенциально можно запрграммировать шаблон решения с ветвлениями, когда, выбрав одну из ветвей, студент будет последовательно получать экраны с полями ввода для промежуточных ответов только для той ветки, по которой он движется.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 21:42 
Заслуженный участник
Аватара пользователя


08/11/11
5262
Red_Herring в сообщении #1348963 писал(а):
В последнее время в США и Канаде приобрела некоторую популярность система онлайн проверки тестов и экзаменов Crowdmark. Ее придумал лет 6 назад наш (теперь UBC) профессор Jim Colliander (ну a программировал его аспирант Martin Muños, очень смышленый парень). Сами работы пишутся на бумаге, сканируются и сканы аплодируются на сервер. Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа (вообще-то это поручается TA, но я решил по разу пройти все шаги сам).


Мы пользовались Gradescope, и у меня она тоже оставила положительное впечатление. Правда, не помню, был ли в ней TeX.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение25.10.2018, 21:42 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
Ruslan_Sharipov в сообщении #1349106 писал(а):
студент печатает своё решение, а система его запоминает и отображает преподавателю для его проверки и выставления балла.

Wikipedia писал(а):
WeBWorK is an online homework delivery system primarily used for mathematics and science.
Домашние задания, которые дают маленький вклад в итоговую оценку (иначе начнется почти поголовное жульничество). Я же описываю тесты и экзамен.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение26.10.2018, 00:04 


15/11/15
359

(Оффтоп)

Ruslan_Sharipov в сообщении #1349106 писал(а):
WebWork может проверить много ответов в одной задаче, поэтому студенту можно навязать ход решения. То есть Вы пишете условие задачи, посте этого пишете шаблон её решения, оставляя поля, куда студент вводит результаты промежуточных вычислений.

Можно ли заставить решать студента СЛАУ методом Гаусса пошагово в WebWork? С навязыванием, может, некоторых шагов. Можете рассказать подробно в другой теме?

 Профиль  
                  
 
 Re: Crowdmark
Сообщение29.10.2018, 18:46 


15/11/15
359
Red_Herring в сообщении #1348963 писал(а):
Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа

Непонятно, как работает система. Вы проверяете сканы и система позволяет прямо поверх них писать текст с оценкой? В этом удобство (студент потом все увидит)?

Сканировать, в принципе, не долго, если аппарат хороший. Проблема в том, как эти сканы расфасовать по личным кабинетам студентов. Кто этим занимается? )

 Профиль  
                  
 
 Re: Crowdmark
Сообщение29.10.2018, 19:31 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
gevaraweb в сообщении #1350044 писал(а):
Непонятно, как работает система. Вы проверяете сканы и система позволяет прямо поверх них писать текст с оценкой? В этом удобство (студент потом все увидит)?

Сканировать, в принципе, не долго, если аппарат хороший. Проблема в том, как эти сканы расфасовать по личным кабинетам студентов. Кто этим занимается? )

Допустим у меня экзамен на 600 человек в потоке. Я готовлю текст (задачи и пустое пространство для решений, скажем 10 страниц) и аплодирую на сервер. Я сообщаю серверу, сколько баллов за каждую задачу или подзадачу (все в GUI)

Сервер спрашивает "сколько копий?" Я отвечаю "666". Сервер выдает мне 6660-страничный pdf, на первой странице таблица, куда студент вносит имя, фамилию и ID, и на каждой странице вверху Q-code вместе с текстом: работа #124, 3 стр из 10 и дальше расшифровка кода. Q-code индивидуальный для каждой страницы. Это передается в PrintShop с комментариями как печатать и скреплять и через пару дней я получаю ящик с 3330 двухсторонними страницами, расфасованными по 5 и скрепленными в уголке. Я обычно прошу в двух ящиках поменьше.

После экзамена TA берет фоторезак (больших размеров и срезает угол со скрепками). На 600 человек--примерно 1.5 часа. Затем сканирует (сует в ADF, причем совершенно неважно в каком порядке, страницы могут идти перепутанными, вверх ногами). Сканы (точнее пачки сканов) аплодируются на сервер, и пользуясь Q-кодами он их собирает в буклеты. На нескольких страницах Q-код не читается (обычно альтернативный гений почеркался на Q на нем, или сдал бумагу для черновиков и TA не выбросил). Я, пользуясь текстом, отождествляю страницу. Кроме того, сервер производит OCR таблицы на первой странице и отождествляет со студентами. Опять-таки, некоторые пишут как пьяная курица лапой и/или практически незаточенным карандашом, и мне приходится OCR вручную. При нормальном проценте альтернативных гениев это работа на час [вообще, эти гении это отдельная поэма: приходится отучать студентов вместе со справками от врача посылать мне датзыбао с детальным описанием симптомов и как они сожалеют, что пропустили тест, при этом забывая сообщить какой предмет--в этом семестре у меня 2. А одна беременная девушка еще и УЗИ прислала. Зачем??!!].

Теперь TA садятся дома к компьютерам и оценивают свои задачи (если экзамен, то к ним присоединяются и лекторы курса, включая меня; обычные тесты оценивают ТА, я могу поучаствовать в порядке надзора. В отличие от ТА профессор может связать работы со студентами). ТА может подчеркивать и вставлять комментарии. Комментарии печатаются, а формулы в виде LaTeX, который сервер компилирует. Кроме того, они спасаются в библиотеку комментариев, и в следующие работы он их может вставлять без необходимости перепечатывать, ну и может модифицировать).

Затем я вижу, что все оценено и даю команду серверу: подсчитать баллы за каждую работу, передать баллы серверу учета, и разрешить студентам видеть свои работы с оценками и комментариями. Они их могут распечатать.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение29.10.2018, 20:19 


15/11/15
359
Понятно, спасибо. Долго проверять приходится наверно 600 человек!?

 Профиль  
                  
 
 Re: Crowdmark
Сообщение29.10.2018, 22:53 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
gevaraweb в сообщении #1350085 писал(а):
Долго проверять приходится наверно 600 человек!?
Если это тест, то проверяют только ТА, на такой класс их мин 4 человека, на каждого приходится 1--2 задачи и за пару дней справятся. Если экзамен, то половину проверяют лекторы, а половину ТА, и опять на человека 1 задача, и пары дней довольно для всех, кроме координатора, который должен вывести окончательные оценки за курс (для чего я использую Excel, но кое что надо доработать вручную), перепроверить экзамен у всех, кто завалил курс и подать эти оценки. Я еще на форуме со студентами обсуждаю задачи и их решения, т.ч. оспаривать оценки пытаются очень немногие, и то без энтузиазма.

 Профиль  
                  
 
 Re: Crowdmark
Сообщение06.11.2018, 19:56 
Заслуженный участник
Аватара пользователя


31/01/14
8340
Hogtown
После прошедшего теста, при подготовке к которому я сделал по неопытности несколько ошибок, резко замедливших вспомогательные действия, я могу утверждать:
1. Подготовка буклета для теста на Crowdmark требует ровно столько времени, сколь и без него (шаблон изготавливается раз и навсегда) и очень немного времени требует аплодирование теста на сервер, придание баллов задачам, и даунлодирование гигантского pdf файла.
2. Обрезка уголков при определенной сноровке и сканирование требует тоже не слишком много времени, т.б. что в реально большом классе это можно разделить между несколькими TA: один режет, другой сканирует ("Отец, слышишь, рубит, а я отвожу"), а третий под ногами путается.
3. При нормальном проценте идиотов ручное отождествление студентов и работ (сервер не смог OCR имя студента), и страниц (сервер не смог прочесть Q–кода, иногда из-за того, что лист сильно перекосился, но чаще, студент почиркался на нем), занимает мало времени.
4. Зато проверка резко ускоряется, раза в два. Поскольку все комментарии печатаются в LaTeX, то снимается вопрос о неразборчивых комментариях, или о том "что написано пером, не вырубишь и топором"--со стороны проверяющих. Кроме того, проверять можно одновременно и для этого вовсе не надо собираться в какой-нибудь аудитории. Другое дело, что проверять, лежа на полу становится менее удобным. Проверка на лэптопе с 15" экраном весьма комфортна, но лично я предпочитаю 23" экран десктопа.
5. Исчезает подсчет суммы и ввод оценки.
6. Не нужно сортировать работы и раздавать их. Практически исчезают потерянные работы.
7. TA проверяет вслепую, вопросов о пристрастности не возникает.
8. Когда студент апеллирует оценку по задаче ему не надо ловить TA , который ее проверял (по дефолту, студент не видит, кто проверял, но я могу объявить, кто проверял какую задачу, а могу и рассматривать апелляции сам). Все это делается очень быстро, если заставить студентов соблюдать несколько правил: обязательно указывать номер буклета, писать каждую апелляцию с новой строки, игнорировать лирику "я так старался", "ТА ко мне придирался", "я извиняюсь, что беспокою" и "я думаю, что заслуживаю ..." Разумеется, к этому моменту студенты должны знать правильное решение и, желательно, критерии оценок.
9. Студенту невозможно что нибудь дописать в розданную работу, а потом прийти на апелляцию.
10. Если речь идет об экзамене (который, в отличие от обычных тестов, администрируется деканатом), то студентам на руки выдается только копия, причем по требованию, и за плату (у нас C$ 25), что я рассматриваю как рэкет со стороны администрации. А тут студенту не надо куда-то бежать, зажав денежку в потной руке, а можно посмотреть свою работу онлайн с оценками и комментариями по каждой задаче бесплатно и не отрываясь от стула.
11. (пока теоретически) Опять, если речь идет об экзамене, то оперативно проверив ее веселой компанией, можно выкроить небольшое время между выдачей оценки за экзамен (и возможностью посмотреть работу) и подачей финальной оценки (основанной не только на экзамене, но и на тестах, квизах, дом. заданиях ....) в деканат. В течение этого времени можно студентам дать возможность апеллировать экзамен без заполнения официального требования. Поскольку окошко реально маленькое, правила следует установить жесткие. В частности "обсуждается только экзамен, ни коим образом не финальная оценка" и "никакой лирики".

ПС Разумеется "лирики" исключать не следует; просто ее место не в оценках, а в акоммодации студента (альтернативное время для теста, а это, между прочим, означает отдельный вариант задания и необходимость надзирать), и т.д.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Модераторы: Модераторы, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: DimaM


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group