Качественная оценка студентов вместо количественной

[ShMaxG]

Мы привыкли, что в школе и ВУЗах учащиеся оцениваются количественно, при этом используются обычно пятибалльная система и десятибалльная система оценивания, а где-то, возможно, и стобалльная. На Физтехе по некоторым предметам есть даже целая балльно-рейтинговая система, в рамках которой студенты копят в течение семестра баллы, которые потом на экзамене или зачете как-то учитываются.

Чем больше я преподаю, тем больше сомневаюсь в необходимости таких оценок. Мне кажется, что ничего эти оценки не отражают, ничего за ними не стоит. Ну, наверное студент с отлом в чем-то лучше студента с хором, но в чем? Более того, один и тот же студент может получить у разных преподавателей разные оценки и разброс может быть велик. Наверное средняя оценка по преподавателям лучше бы отражала навыки и знания студента, но заниматься такими вычислениями для каждого студента всех групп и потоков было бы слишком расточительно, поэтому мы на практике ограничиваемся "одним измерением". Что говорят оценки и средние баллы потенциальным работодателям? о чем они говорят самим студентам?

Я подумал, может быть и вовсе отменить систему оценивания? Можете ли вы представить себе ситуацию, когда ни в школах, ни в ВУЗах (но меня больше ВУЗы интересуют даже) больше нет никакого оценивания. Все, кто поступает, учится, все выпускаются, а что с ними будет, какую и где они работу найдут, кем они будут, это их дело. Но я решил, что лучше все же какую-то форму оценивания следует иметь, потому что учащимся важен фидбек, а работодателям важно понимать, кто идет к ним на работу.

Предлагаю качественную систему оценивания вместо баллов. У студентов все также бывают контрольные, зачеты, экзамене. Но по итогу преподаватель ставит не числовую оценку, а резюмирует опыт общения со студентом, скажем, одним предложением. "Ни черта не разбирается в марковских процессах, но уверенно исследует стационарные последовательности". А теперь представьте, что в деле студента вместо оценок по каждому предмету будут стоять вот такие характеризующие его фразы. Если студент не был на экзамене/зачетах/контрольных, то и записи не будет. Когда студент придет на работу, работодатель пробежится глазами по списку характеристик и будет иметь впечатление о студенте, мне кажется, гораздо лучше, чем от среднего балла, скажем, 4.2/5.

Мне даже кажется, такая качественная оценка будет более справедливой по отношению к студенту, не будет заставлять преподавателя тянуть его с неуда на уд на пересдачах, с хора на отл на экзаменах. Это разгрузит ответственность преподавателей за судьбу студента. Может быть студент с половиной предметов выпустится без характеристики, ну это его дело и дело работодателей. Качественная оценка может избавить преподавателя от формальной необходимости сопоставлять ответ студента баллу. То есть не будет вот этих

Цитата:

оценка «отлично (9)» выставляется студенту, показавшему всесторонние, систематизированные, глубокие знания учебной программы дисциплины и умение применять их на практике при решении конкретных задач свободное и правильное обоснование принятых решений

а 10 баллов ставят, если умения были еще и "уверенными".

По-моему много плюсов у этой системы, вряд ли я первый, кому пришла в голову такая идея, так в чем же могут быть проблемы, как вы думаете?

[ozheredov]

ShMaxG

Исходная задача оценок -- упорядочить студентов в вариационный ряд, чтобы можно было, скажем отсеять 25% худших (зачем оценки сейчас, когда отсеивать никого нельзя, ибо отсеется и финансирование -- вопрос отдельный). Если оценка будет векторная (за дифуры в обычных производных 5, за дифуры в частных -- 2), вариационный ряд будет составить проблематично, потому как нужно будет доказывать минобру жизнеспособность такого-то и такого-то определения многокритериального приоритета.

ShMaxG в сообщении #1586980 писал(а):

"Ни черта не разбирается в марковских процессах, но уверенно исследует стационарные последовательности"

Тогда надо протестить его более-менее по всем темам, а это геморрой, за который профессору не платють.

[photon]

Не будет работодатель смотреть эти характеристики, как не смотрит он и оценки, а будет собеседовать по интересующим его вопросам. Дипломы и так довольно обесценены, а если позволить всем без каких-либо усилий просто по прошествии нескольких лет получить какой-то диплом, а не быть отчисленным где-то посередине, то ценность его и вовсе станет нулевой, тогда станет вопрос: а зачем держать всех этих преподавателей, если они не могут гарантировать, что их выпускники обладают хоть каким-то минимумом знаний по данной специальности?

[Mikhail_K]

ShMaxG
Полностью согласен со сказанным Вами. Я тоже пришёл к таким же выводам.
Однако, верно и сказанное photon: нельзя выдавать диплом всем подряд.
Так здесь же нет противоречия. Если в какой-то момент всем становится понятно, что студент явно не способен учиться дальше, должна собраться комиссия из преподавателей и принять решение о его отчислении.

[ShMaxG]

ozheredov в сообщении #1586993 писал(а):

Исходная задача оценок -- упорядочить студентов в вариационный ряд, чтобы можно было, скажем отсеять 25% худших (зачем оценки сейчас, когда отсеивать никого нельзя, ибо отсеется и финансирование -- вопрос отдельный).

Не знаю, мне кажется позиция ректората наоборот стремится набрать побольше студентов и никого не отчислять. Это кстати психологическая нагрузка на преподавателя - вот поставишь ты неуд на пересдаче, человека отчислят, а тебе потом еще и влетит с кафедры прилетит за это, все же как никак, а в отчет какой-нибудь это пойдет. У меня такого не было, но вот ощущения именно такие. Если хочется отсеять кого-то, то можно отсеивать тех, у кого набирается достаточное число несданных зачетов и экзаменов, то есть пустых характеристик.

photon в сообщении #1586998 писал(а):

Не будет работодатель смотреть эти характеристики, как не смотрит он и оценки, а будет собеседовать по интересующим его вопросам.

Работодатели разные бывают. Когда к нам в научный институт приходят новые студенты/аспиранты и мы рассматриваем, кого из них принять на работу, мы смотрим в том числе и на оценки, и нам всегда нужна в том числе и качественная информация об успехах студента. К тому же если желающих много, то на собеседование можно всех не отправлять, а сначала пройтись по характеристикам, отобрать лучших, а потом уже собеседовать.

photon в сообщении #1586998 писал(а):

Дипломы и так довольно обесценены, а если позволить всем без каких-либо усилий просто по прошествии нескольких лет получить какой-то диплом, а не быть отчисленным где-то посередине, то ценность его и вовсе станет нулевой

Они может и обесценены, потому что наличие диплома само по себе ни о чем не говорит, характеристика нужна. У нас вон много зарубеж выезжают, им рекомендации писать нужно. Вот и пишем, какой человек хороший, а чем он хорош? Приниматели с той стороны тоже какой-то конкретики хотят, вот характеристики и помогут.

Mikhail_K в сообщении #1587000 писал(а):

Однако, верно и сказанное photon: нельзя выдавать диплом всем подряд.

Да, но может и дипломы тогда отменить? Если что-то не особо нужно, тогда и делать это не нужно. Или все же нужны дипломы?

[alisa-lebovski]

Так и было после 1917 года. Все отменили - экзамены, дипломы, степени, звания... Но в 1935 вернули, и не зря.

[amon]

ShMaxG в сообщении #1586980 писал(а):

По-моему много плюсов у этой системы, вряд ли я первый, кому пришла в голову такая идея, так в чем же могут быть проблемы, как вы думаете?

IMHO, изобретается велосипед. Во времена оны, в самом начале 70-х прошлого века, на физическом факультете ЛГУ была следующая система обучения. Поток разбивался на управляемые группы человек по 20. Эти группы решали задачи, причем весь курс был разбит на отдельные короткие темы (пересечение прямых, решение линейных ОДУ и т. п.) после окончания темы устраивалась контрольная без оценок, но с зачетом по задачам. Нерешенные задачи накапливались, и для допуска к экзамену надо было решить все задачи из всех контрольных. Переписывать контрольные можно было практически любое количество раз, но каждая следующая была сложнее предыдущей. Не решивших две и более задач (одну часто прощали) безжалостно выгоняли. Списывание предотвращалось тем, что все задачи были оригинальные и разные. Иногда, для развлечения, давалась задачка из какого-нибудь Демидовича с неверным ответом в задачнике.

Система эта требовала больших усилий от преподавательского состава, зато студентов, которые совсем ни хрена не знали про линейную алгебру или методы решения диф. уравнений, она не пропускала, хотя оценок в привычном понимании не ставилось.

[ShMaxG]

Мой тезис такой, что если что-то зарекомендовало себя как полезное, то пусть и остается. Если оценки, степени и звания следует сохранить, то пусть будут, моя тема с этими вопросами косвенно связана, но не прямо. В этой теме я предлагаю обсудить одну конкретную вещь -- необходимость конкретно количественной оценки знаний и возможность применения качественной (экспертной) оценки знаний. Конечно количественная оценка во многом привычна и удобна (все сводится к числу, которое легко сравнивать с другими числами, статистическое оценивание и так далее). Но мне кажется более ценным именно экспертный подход в оценивании, который много где применяется, при отборе тех же проектов на конкурсах грантов. Вот в этом и вопрос, если ввести такую систему, что будет, всеобщая радость, или все-таки что-то сломается? Заметьте, это не связано напрямую с вопросам отчисления студентов, жесткости приема и так далее. Это скорее связано с тем, как мы мыслим во время оценивания, какой фидбек получает студент, и какую информацию мы доносим до нанимателей этого студента где-либо. Вот на первый взгляд экспертная оценка кажется привлекательной во всем. Или нет? Если нет, то в чем конкретно?

[alisa-lebovski]

ShMaxG в сообщении #1587046 писал(а):

при отборе тех же проектов на конкурсах грантов.

Нашли что масштабировать. Заявители на гранты систематически ругают (анонимных) экспертов за глупость, некомпетентность и предвзятость, иногда публично. Насколько преподаватели будут компетентны давать качественные оценки, и насколько студенты будут склонны соглашаться с такими оценками?

[Dedekind]

alisa-lebovski в сообщении #1587052 писал(а):

Насколько преподаватели будут компетентны давать качественные оценки

А насколько они компетентны давать количественные оценки? В чем в данном пункте между ними разница?

[alisa-lebovski]

Dedekind в сообщении #1587054 писал(а):

А насколько они компетентны давать количественные оценки? В чем в данном пункте между ними разница?

Количественные оценки - это обычно отражение какой-то объективной реальности, например, числа правильно решенных задач, где решена задача или нет, тоже достаточно четко определяется. А качественная оценка - это личное мнение преподавателя о студенте.

[ozheredov]

alisa-lebovski в сообщении #1587057 писал(а):

А качественная оценка - это личное мнение преподавателя о студенте.

Насколько я понял, ShMaxG предлагает векторные бинарные оценки вместо скалярных целочисленных:

ShMaxG в сообщении #1586980 писал(а):

"Ни черта не разбирается в марковских процессах, но уверенно исследует стационарные последовательности"

То есть индивид решил менее 75% задач по марковским процессам -- 0, и не менее 75% по стационарным последовательностям -- 1. Где тут личное мнение?

Это все конечно сделает в разы больше геморроя, но вполне возможно что окупится: можно будет более таргетированно хантить студентоту, причем делать это с младых ногтей и в динамике.

-- 27.03.2023, 21:04 --

ShMaxG в сообщении #1587021 писал(а):

Если хочется отсеять кого-то, то можно отсеивать тех, у кого набирается достаточное число несданных зачетов и экзаменов, то есть пустых характеристик.

По идее, если абстрагироваться от ситуации, когда отсеивать никого не выгодно, то отсеивать надо не тех, кто подпадает под некоторый скрипт, а определенный процент (5%, 25%, 50%, 98.2%), который к тому же может достаточно динамично изменяться. Поэтому полезно В ЛЮБОЙ момент времени иметь вариационный ряд, у которого можно снять верхние $p$ процентов и наградить (послать на олимпиады, на передачу "Алло, мы ищем таланты" и т.п.) и нижние $q$ процентов, чтобы наказать (выгнать, лишить стипендии, бесплатной годовой подписки на фитнес и т.д.)

[alisa-lebovski]

ozheredov, я знаю примеры, когда преподаватели, когда их спрашивали о каком-то студенте, не могли его вспомнить, либо вспоминали неправильно и рассказывали о каком-то другом студенте. Что и не удивительно, если преподаватели пожилые, а студентов много. Для компетентной итоговой оценки студента надо по крайней мере вести свои записи обо всех, в том числе, делать какие-то количественные оценки, если не для внешней фиксации, то для внутреннего употребления. Однако если система не требует внешней фиксации и не проверяет процесс, эти записи могут вестись плохо или не вестись вообще, и все сведется к личному мнению и произволу.

[ozheredov]

alisa-lebovski в сообщении #1587067 писал(а):

я знаю примеры, когда преподаватели, когда их спрашивали о каком-то студенте, не могли его вспомнить, либо вспоминали неправильно и рассказывали о каком-то другом студенте. Что и не удивительно, если преподаватели пожилые, а студентов много

Странно -- если бы преподаватель сказал, что совместное распределение двух зависимых величин факторизуется, Вы бы назвали его профнепригодным. А если происходит то, что описано в цитате, то это не удивительно.

alisa-lebovski в сообщении #1587067 писал(а):

Однако если система не требует внешней фиксации и не проверяет процесс, эти записи могут вестись плохо или не вестись вообще, и все сведется к личному мнению и произволу.

Если сравнивать отлаженный по уму экземпляр существующей системы с организованным через одно место экземпляром системы, предлагаемой ShMaxG, то безусловно победит первая. Но это будет необъективно. Можно сделать нечто типа CRM, где индивидуальные варианты задач по темам будет генерировать бот, решения будут заноситься в компьютер и им же проверяться, будет предусмотрен анализ на мошенничество (типа как анализируются партии на chess.com), и итогом будет совокупность битовых флагов по всем темам с нужной степенью подробности. В добавок, такую векторную оценку при желании можно всегда "свернуть" в отнормированный на сегмент $[1; 5]$ скаляр.

[alisa-lebovski]

ozheredov в сообщении #1587069 писал(а):

А если происходит то, что описано в цитате, то это не удивительно.

Ну так, если бы у нас профпригодные в очередь стояли и просились работать за эти деньги, а пока как-то не так все...