Crowdmark

[Red_Herring]

В последнее время в США и Канаде приобрела некоторую популярность система онлайн проверки тестов и экзаменов Crowdmark. Ее придумал лет 6 назад наш (теперь UBC) профессор Jim Colliander (ну a программировал его аспирант Martin Muños, очень смышленый парень). Сами работы пишутся на бумаге, сканируются и сканы аплодируются на сервер. Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа (вообще-то это поручается TA, но я решил по разу пройти все шаги сам).

Так получилось, что я ею не пользовался, но в этом семестре я согласился координировать 2 больших курса(600+ и 400+ студентов) [дураков работа очень любит, хотя и в несколько извращенной форме] и меня уговорили и мои коллеги по курсам и TA ее использовать.

Недавно прошли первые тесты с использованием системы, я набил несколько шишек по неопытности, но в целом доволен и намерен в дальнейшем ее использовать. Могу описать свой опыт, но не хотелось бы чтобы это рассматривалось в качестве рекламы, хотя в России ее, вероятно, использовать невозможно, поскольку 1) стоит денег (сколько--не знаю) и 2) работы аплодируются на сервера компании (что, скорее всего, будет запрещено). Но, м.б. может появиться подобная система. Кроме того, не хотелось бы чтобы это рассматривалось как блог (потому что если рассказывать, то придется долго).

Disclaimer: с Джимом мы не друзья, хотя отношения у нас очень хорошие, и мы учили курсы вместе.

Сразу скажу, что главное мое опасение "как комментировать?" оказалось беспочвенным: печатаешь текст, а математические выражения с помощью LаTeX, который процессируется на лету (и комментарии спасаются и могут быть использованы и в других работах), и т.д. Оценки ставятся за отдельные задачи и подзадачи и сумма автоматически входит в систему учета. Студенты тоже, вроде, смогут видеть свои проверенные работы онлайн, я с этим разберусь несколько позже. Я надеюсь, что это относится и к экзамену (в отличие от тестов, администрируемых преподавателями, экзамены администрируются деканатом, на руки студентам выдаются только копии по цене C$ 25, что чистый грабеж, т.б. что с профессорами не делятся )

[iifat]

(Оффтоп)

Red_Herring в сообщении #1348963 писал(а):

в несколько извращенной форме

Нет в постели извращений! Пока участникам это нравится.

Пока что из вашего описания вырисовывается что-то типа форума, где каждая работа как стартовый топик. Ну, с оценками, с организацией и т.п. Не думаю, что это можно счесть рекламой чего-то предосудительного. Ну и не думаю, что так уж тяжело это повторить на своём сервере, хоть с нуля, хоть с бесплатного движка.

[Ruslan_Sharipov]

Red_Herring в сообщении #1348963 писал(а):

Сразу скажу, что главное мое опасение "как комментировать?" оказалось беспочвенным: печатаешь текст, а математические выражения с помощью LаTeX, который процессируется на лету (и комментарии спасаются и могут быть использованы и в других работах), и т.д. Оценки ставятся за отдельные задачи и подзадачи и сумма автоматически входит в систему учета.

То есть проверка всё-таки осуществляется Вами? Почему Вы не используете WebWork? Эта система 1) бесплатная, 2) берёт на себя проверку, 3) имеет очень большую базу готовых задач.

[Red_Herring]

iifat в сообщении #1348969 писал(а):

Пока что из вашего описания вырисовывается что-то типа форума, где каждая работа как стартовый топик.

Нет

Ruslan_Sharipov в сообщении #1348970 писал(а):

То есть проверка всё-таки осуществляется Вами? Почему Вы не используете WebWork? Эта система 1) бесплатная, 2) берёт на себя проверку, 3) имеет очень большую базу готовых задач.

ТА. Я смотрел базу несколько лет назад и там (еще, по крайней мере) не было того, что мне было надо. И, главное, она, как мне кажется, проверяет ответы, а не решения

[Ruslan_Sharipov]

Red_Herring в сообщении #1348975 писал(а):

И, главное, она, как мне кажется, проверяет ответы, а не решения.

Да. WebWork проверяет ответы. Но в нем есть разные типы задач, то есть задач с разным типом проверки ответов. В частности, есть тип задач, при котором студент печатает своё решение, а система его запоминает и отображает преподавателю для его проверки и выставления балла. При этом ничего не надо сканировать.

WebWork может проверить много ответов в одной задаче, поэтому студенту можно навязать ход решения. То есть Вы пишете условие задачи, посте этого пишете шаблон её решения, оставляя поля, куда студент вводит результаты промежуточных вычислений.

Я не видел в базе таких задач, но полагаю, потенциально можно запрграммировать шаблон решения с ветвлениями, когда, выбрав одну из ветвей, студент будет последовательно получать экраны с полями ввода для промежуточных ответов только для той ветки, по которой он движется.

[g______d]

Red_Herring в сообщении #1348963 писал(а):

В последнее время в США и Канаде приобрела некоторую популярность система онлайн проверки тестов и экзаменов Crowdmark. Ее придумал лет 6 назад наш (теперь UBC) профессор Jim Colliander (ну a программировал его аспирант Martin Muños, очень смышленый парень). Сами работы пишутся на бумаге, сканируются и сканы аплодируются на сервер. Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа (вообще-то это поручается TA, но я решил по разу пройти все шаги сам).

Мы пользовались Gradescope, и у меня она тоже оставила положительное впечатление. Правда, не помню, был ли в ней TeX.

[Red_Herring]

Ruslan_Sharipov в сообщении #1349106 писал(а):

студент печатает своё решение, а система его запоминает и отображает преподавателю для его проверки и выставления балла.

Wikipedia писал(а):

WeBWorK is an online homework delivery system primarily used for mathematics and science.

Домашние задания, которые дают маленький вклад в итоговую оценку (иначе начнется почти поголовное жульничество). Я же описываю тесты и экзамен.

[gevaraweb]

(Оффтоп)

Ruslan_Sharipov в сообщении #1349106 писал(а):

WebWork может проверить много ответов в одной задаче, поэтому студенту можно навязать ход решения. То есть Вы пишете условие задачи, посте этого пишете шаблон её решения, оставляя поля, куда студент вводит результаты промежуточных вычислений.

Можно ли заставить решать студента СЛАУ методом Гаусса пошагово в WebWork? С навязыванием, может, некоторых шагов. Можете рассказать подробно в другой теме?

[gevaraweb]

Red_Herring в сообщении #1348963 писал(а):

Сканирование 1500 х 2 страниц у меня занимает на кафедральном копире/сканере около часа

Непонятно, как работает система. Вы проверяете сканы и система позволяет прямо поверх них писать текст с оценкой? В этом удобство (студент потом все увидит)?

Сканировать, в принципе, не долго, если аппарат хороший. Проблема в том, как эти сканы расфасовать по личным кабинетам студентов. Кто этим занимается? )

[Red_Herring]

gevaraweb в сообщении #1350044 писал(а):

Непонятно, как работает система. Вы проверяете сканы и система позволяет прямо поверх них писать текст с оценкой? В этом удобство (студент потом все увидит)?

Сканировать, в принципе, не долго, если аппарат хороший. Проблема в том, как эти сканы расфасовать по личным кабинетам студентов. Кто этим занимается? )

Допустим у меня экзамен на 600 человек в потоке. Я готовлю текст (задачи и пустое пространство для решений, скажем 10 страниц) и аплодирую на сервер. Я сообщаю серверу, сколько баллов за каждую задачу или подзадачу (все в GUI)

Сервер спрашивает "сколько копий?" Я отвечаю "666". Сервер выдает мне 6660-страничный pdf, на первой странице таблица, куда студент вносит имя, фамилию и ID, и на каждой странице вверху QR-code вместе с текстом: работа #124, 3 стр из 10 и дальше расшифровка кода. QR-code индивидуальный для каждой страницы. Это передается в PrintShop с комментариями как печатать и скреплять и через пару дней я получаю ящик с 3330 двухсторонними страницами, расфасованными по 5 и скрепленными в уголке. Я обычно прошу в двух ящиках поменьше.

После экзамена TA берет фоторезак (больших размеров и срезает угол со скрепками). На 600 человек--примерно 1.5 часа. Затем сканирует (сует в ADF, причем совершенно неважно в каком порядке, страницы могут идти перепутанными, вверх ногами). Сканы (точнее пачки сканов) аплодируются на сервер, и пользуясь QR-кодами он их собирает в буклеты. На нескольких страницах QR-код не читается (обычно альтернативный гений почеркался на нем, или сдал бумагу для черновиков и TA не выбросил). Я, пользуясь текстом, отождествляю страницу. Кроме того, сервер производит OCR таблицы на первой странице и отождествляет со студентами. Опять-таки, некоторые пишут как пьяная курица лапой и/или практически незаточенным карандашом, и мне приходится OCR вручную. При нормальном проценте альтернативных гениев это работа на час [вообще, эти гении это отдельная поэма: приходится отучать студентов вместе со справками от врача посылать мне датзыбао с детальным описанием симптомов и как они сожалеют, что пропустили тест, при этом забывая сообщить какой предмет--в этом семестре у меня 2. А одна беременная девушка еще и УЗИ прислала. Зачем??!!].

Теперь TA садятся дома к компьютерам и оценивают свои задачи (если экзамен, то к ним присоединяются и лекторы курса, включая меня; обычные тесты оценивают ТА, я могу поучаствовать в порядке надзора. В отличие от ТА профессор может связать работы со студентами). ТА может подчеркивать и вставлять комментарии. Комментарии печатаются, а формулы в виде LaTeX, который сервер компилирует. Кроме того, они спасаются в библиотеку комментариев, и в следующие работы он их может вставлять без необходимости перепечатывать, ну и может модифицировать).

Затем я вижу, что все оценено и даю команду серверу: подсчитать баллы за каждую работу, передать баллы серверу учета, и разрешить студентам видеть свои работы с оценками и комментариями. Они их могут распечатать.

[gevaraweb]

Понятно, спасибо. Долго проверять приходится наверно 600 человек!?

[Red_Herring]

gevaraweb в сообщении #1350085 писал(а):

Долго проверять приходится наверно 600 человек!?

Если это тест, то проверяют только ТА, на такой класс их мин 4 человека, на каждого приходится 1--2 задачи и за пару дней справятся. Если экзамен, то половину проверяют лекторы, а половину ТА, и опять на человека 1 задача, и пары дней довольно для всех, кроме координатора, который должен вывести окончательные оценки за курс (для чего я использую Excel, но кое что надо доработать вручную), перепроверить экзамен у всех, кто завалил курс и подать эти оценки. Я еще на форуме со студентами обсуждаю задачи и их решения, т.ч. оспаривать оценки пытаются очень немногие, и то без энтузиазма.

[Red_Herring]

После прошедшего теста, при подготовке к которому я сделал по неопытности несколько ошибок, резко замедливших вспомогательные действия, я могу утверждать:
1. Подготовка буклета для теста на Crowdmark требует ровно столько времени, сколь и без него (шаблон изготавливается раз и навсегда) и очень немного времени требует аплодирование теста на сервер, придание баллов задачам, и даунлодирование гигантского pdf файла.
2. Обрезка уголков при определенной сноровке и сканирование требует тоже не слишком много времени, т.б. что в реально большом классе это можно разделить между несколькими TA: один режет, другой сканирует ("Отец, слышишь, рубит, а я отвожу"), а третий под ногами путается.
3. При нормальном проценте идиотов ручное отождествление студентов и работ (сервер не смог OCR имя студента), и страниц (сервер не смог прочесть Q–кода, иногда из-за того, что лист сильно перекосился, но чаще, студент почиркался на нем), занимает мало времени.
4. Зато проверка резко ускоряется, раза в два. Поскольку все комментарии печатаются в LaTeX, то снимается вопрос о неразборчивых комментариях, или о том "что написано пером, не вырубишь и топором"--со стороны проверяющих. Кроме того, проверять можно одновременно и для этого вовсе не надо собираться в какой-нибудь аудитории. Другое дело, что проверять, лежа на полу становится менее удобным. Проверка на лэптопе с 15" экраном весьма комфортна, но лично я предпочитаю 23" экран десктопа.
5. Исчезает подсчет суммы и ввод оценки.
6. Не нужно сортировать работы и раздавать их. Практически исчезают потерянные работы.
7. TA проверяет вслепую, вопросов о пристрастности не возникает.
8. Когда студент апеллирует оценку по задаче ему не надо ловить TA , который ее проверял (по дефолту, студент не видит, кто проверял, но я могу объявить, кто проверял какую задачу, а могу и рассматривать апелляции сам). Все это делается очень быстро, если заставить студентов соблюдать несколько правил: обязательно указывать номер буклета, писать каждую апелляцию с новой строки, игнорировать лирику "я так старался", "ТА ко мне придирался", "я извиняюсь, что беспокою" и "я думаю, что заслуживаю ..." Разумеется, к этому моменту студенты должны знать правильное решение и, желательно, критерии оценок.
9. Студенту невозможно что нибудь дописать в розданную работу, а потом прийти на апелляцию.
10. Если речь идет об экзамене (который, в отличие от обычных тестов, администрируется деканатом), то студентам на руки выдается только копия, причем по требованию, и за плату (у нас C$ 25), что я рассматриваю как рэкет со стороны администрации. А тут студенту не надо куда-то бежать, зажав денежку в потной руке, а можно посмотреть свою работу онлайн с оценками и комментариями по каждой задаче бесплатно и не отрываясь от стула.
11. (пока теоретически) Опять, если речь идет об экзамене, то оперативно проверив ее веселой компанией, можно выкроить небольшое время между выдачей оценки за экзамен (и возможностью посмотреть работу) и подачей финальной оценки (основанной не только на экзамене, но и на тестах, квизах, дом. заданиях ....) в деканат. В течение этого времени можно студентам дать возможность апеллировать экзамен без заполнения официального требования. Поскольку окошко реально маленькое, правила следует установить жесткие. В частности "обсуждается только экзамен, ни коим образом не финальная оценка" и "никакой лирики".

ПС Разумеется "лирики" исключать не следует; просто ее место не в оценках, а в акоммодации студента (альтернативное время для теста, а это, между прочим, означает отдельный вариант задания и необходимость надзирать), и т.д.

[Red_Herring]

После четырех тестов и двух экзаменов в классах на 500+ и 300+ человек (я координатор, еще 3 и 2 инструктора соответственно, и 4 ТА в каждом) я могу сказать, что CM спас мою жизнь. При этом, учитывая некоторые особенности моих ТА, я проделал всю подготовительную работу сам (быстрее, чем потом расхлебывать) и даже помогал грейдировать тесты, и также рассматривал все апелляции, а также вместе с другими инструкторами грейдировал экзамены, я могу сказать что выявил некоторые недостатки системы. Я напишу feature requests (пользуясь своей дружбой с владельцем) , но также и придумал, как пользователь может обойти эти недостатки.

В результате я написал пару блогпостов и могу воспроизвести их здесь, если будет интересно. Но хотелось бы поделиться некоторым ТеХ файлом, которым я лично горжусь. Идея: как дать студентам, пишущим квиз или тест задание в нескольких вариантах. Допустим у меня 500 студентов и я выдаю им 4х страничный квиз. Т.е. 4 страницы я аплодирую на сервер и прошу 600 буклетов (запас карман не тянет). Получаю 2400 страничный pdf, который повторяет эти 4 страницы, но каждая первая страница имеет еще таблицу, куда студент вносит свои данные (и их сервер OCR и идентифицирует со студентами, обычно с 0 ошибок и несколькими (<5) отказами (которые я фиксирую вручную), а каждая страница имеет QR-код и текстовую расшифровку, которые сервер использует для собирания буклетов из страниц. Опять, 0 ошибок и <20 отказов, которые я фиксирую вручную.

Идея: подать буклет только с общими элементами всех вариантов, а то и просто пустой, получить pdf файл (я его переименовываю в dummy.pdf), а потом использовать страницы в качестве заднего фона (background) для ТЕХ. И вот tex файл в следующем посте.

-- 20.12.2018, 18:39 --

Используется синтаксис LaTeX

\documentclass[14pt, oneside]{memoir}
\usepackage{ifthen} % эти три пакета служат для генерации
\usepackage{intcalc} %
\usepackage{forloop} %

\usepackage[absolute,overlay]{textpos} % эти два пакета служат для установки заднего фона
\usepackage{pdfpages}  %

\textheight=9.5in
\voffset=-20pt
\parindent=0pt

\theoremstyle{definition}
\newtheorem*{problem}{Problem}

\newcounter{bookletnumber} %понятно
%\setcounter{bookletnumber}{1}
\pagestyle{empty}

\newcommand{\problemversion}{\intcalcMod{\thebookletnumber}{5}} % вычисляем номер буклета по модулю 5 т.к. будет 5  вариантов

%%%%%%%%  дальше определяем какие задачи будут в этих пяти вариантах; поскольку это квиз, в каждом буклете по одной задаче, но можно и 
%%%%  модифицировать на любое число задач :   \problemOneA, \problemTwoA,....


\newcommand{\problemA}{\begin{problem}
Calculate $1+1$
\end{problem}}

\newcommand{\problemB}{\begin{problem}
Calculate $2+1$
\end{problem}}

\newcommand{\problemC}{\begin{problem}
Calculate $3+1$
\end{problem}}

\newcommand{\problemD}{\begin{problem}
Calculate $3+2$
\end{problem}}

\newcommand{\problemE}{\begin{problem}
Calculate $3+3$
\end{problem}}

%%%%%%%%% теперь определяем \problemo, которая берет один аргумент 1,2,3,4,0 и возвращает соответственно \problemA, ...., \problemE

\newcommand\problemo[1]{\ifthenelse{\equal{#1}{1}}%
                     {\problemA}{\ifthenelse{\equal{#1}{2}}{\problemB}{\ifthenelse{\equal{#1}{3}}{\problemC}{\ifthenelse{\equal{#1}{4}}{\problemD}{\ifthenelse{\equal{#1}{0}}{\problemE}{Rats! An error!}}}}}}

%%%%% Определяем, как выглядит буклет

\newcommand{\booklet}{%
\begin{textblock}{2}(2,1)  % На первой странице помещаем номер большими цифрами
\Huge{\textbf{\thebookletnumber}}
\end{textblock}
\begin{textblock}{2}(0,0)  %помещаем на задний фон соответствующую страницу--чтобы не требовала отдельного места
\includepdf[pages=\thepage ]{dummy.pdf}
\end{textblock}  
{\ }
\vskip20pt

\begin{center}
{\textbf{APM 346}}
\vskip 10pt
{\textbf{Quiz 1}}


\vskip295pt

\end{center}



\newpage

\begin{textblock}{2}(0,0)
\includepdf[pages=\thepage]{dummy.pdf} 
\end{textblock}

\hrule

\problemo{\problemversion}    % пишем задачу

\newpage

\begin{textblock}{2}(0,0)  
\includepdf[pages=\thepage]{dummy.pdf} 
\end{textblock}

\hrule

\newpage
\begin{textblock}{2}(0,0)
\includepdf[pages=\thepage]{dummy.pdf}
\end{textblock}


\hrule
{\ }
\newpage
}

%%% Конец преамбулы

\begin{document}

\forloop{bookletnumber}{1}{\value{bookletnumber} < 601}{\booklet} % Цикл! в конце каждого номер буклета увеличивается на 1, 

%% ну а номер страницы в большом pdf автоматический, но и здесь можно поиграться. Например, если я беру буклет не с первого номера 
%% {1} в предыдущем выражении, то и номер первой страницы нужно сразу установить соответственно

\end{document}
 

[Red_Herring]

Заголовок: Бессодержательные сообщения

Munin в сообщении #1362841 писал(а):

Red_Herring в сообщении #1362826 писал(а):

"...но если вашу работу увидят в деканате, то вас сожрут там живьем."

Вот этого аргумента подчас сильно не хватает - потому что деканаты наоборот добренькие.

Жульничество достало всех. Деканаты объявили крестовый поход. Везде лепят сообщения что такое "academic integrity" и что является ее нарушением. Можно подумать, студенты не догадываются. Сейчас даже на титульной странице экзаменационного буклета требуют скопировать. А поскольку титул для Crowdmark требует вполне точного места для своих вставок (впрочем, они надпечатывают с белым задним фоном, т.ч. все, что туда залезет, забивается), то я напечатал все это меленько (\tiny - все одно читать не будут). И кое-кто карьеру на борьбе с жульничеством делает. Т.ч. гуманизм гуманизмом, но сожрут с потрохами.

Должен сказать, что Crowdmark обнажает проблему: студенческие работы проверяются нормально в порядке номеров буклетов, а буклеты с соседними или близкими номерами у тех, кто сидел рядом или недалеко. В общем, даже меня удивило: на экзамене в аудитории у каждого индивидуальные столы, все сидят на одном уровне (не амфитеатр), но все равно некоторые сдувают (с ошибками). А чем ловить, лучше предотвратить (даже ценой создания многовариантных тестов и экзаменов, что, естественно, требует больше времени).