Избавление от бесконечных логитов в ЕГЭ

[Korvin]

Нынешняя система оценки первичных баллов ЕГЭ сталкивается с трудностью оценки знаний испытуемых, выполнивших 0 или все задания. Им по правилам игры пришлось бы присваивать минус или плюс бесконечное знание, оцениваемое в логитах, что разрушило бы всю шкалу нынешних баллов, поэтому им конвенционально присваивают крайние значений 0 или 100 баллов, удаляют из матрицы, а оценивание фактически ведется только испытуемых, которые набрали начиная от 1 балла до максимального минус 1, и им опять таки конвенционально присваивается порядка 4 или 96 баллов, и все прочие линейно укладываются на одну шкалу. 50 баллов присваивается понятно тем, которые набрали ровно половину максимальных первичных баллов.
Идея по правилу следования Лапласа условно ввести в комплект заданий 2 виртуальных задания - одно с нулевой сложностью, которое выполняют все, и другое сложности, не позволяющей выполнить его никому, красиво разрешает проблему, поскольку по определению отсутствуют испытуемые, не выполнившие ни одного задания либо выполнившие все. Но - крайне негативно воспринимается педагогическим сообществом - нельзя априорно недооценивать либо переоценивать испытуемых. Что не так с подобным решением?

[provincialka]

А зачем?
Тут главный вопрос -- кто и как принимает решение о переводе баллов. И главное -- для чего. Вопрос-то не математичексий, вопрос -- политический.

В конце концов, можно просто табличку составить, сколько -- во что.

[Munin]

А.В. Иванов. ЕГЭ - катастрофа образования.
https://www.youtube.com/watch?v=0GNfJut-dyo (видео 1 час 11 минут)
(Семинар по проблемам образования. Петрозаводский государственный университет. 15 октября 2014.)

Здесь просто и доходчиво объясняется, как и зачем делается система пересчёта баллов. И почему она никогда не будет улучшена.

(Самая лучшая и в то же время простая система пересчёта баллов - вообще без пересчёта. Какие "первичные баллы" получены, такие и ставить. Правда, проблема этим не исчерпывается. Сами задачи должны быть все одинаковы по сложности, или баллы за задачи - соответствовать их сложности, как иногда делается на олимпиадах.)

[Mikhail_K]

Munin в сообщении #1224589 писал(а):

Сами задачи должны быть все одинаковы по сложности

Очень странное предложение. Это обессмысливает экзамен, цель которого - выяснить, задачи какого уровня сложности ученик уверенно решает, какого - умеет решать не вполне и не всегда, какого - совсем не умеет.

Munin в сообщении #1224589 писал(а):

или баллы за задачи - соответствовать их сложности

Вот это действительно разумно.

[Otta]

Я вам не скажу за всю Одессу, но вот поляки, например, не пересчитывают. Как насчитали первичные - так и будет.

[Munin]

Mikhail_K в сообщении #1224592 писал(а):

Очень странное предложение.

Если за задачи давать одинаковые баллы - то и задачи должны быть одинаковые по сложности. Что здесь странного?

Mikhail_K в сообщении #1224592 писал(а):

Это обессмысливает экзамен, цель которого - выяснить, задачи какого уровня сложности ученик уверенно решает, какого - умеет решать не вполне и не всегда, какого - совсем не умеет.

А с чего вы взяли, что цель этого экзамена - именно это?

Для экзамена, цель которого такова, как вы назвали, вообще не нужно давать баллы за все задачи. Нужно сделать экзамен таким:
- все задачи выстроить в линеечку по возрастанию сложности;
- в качестве балла взять номер последней правильно решённой задачи;
- все предыдущие можно не решать (как и последующие).

Mikhail_K в сообщении #1224592 писал(а):

Вот это действительно разумно.

Разумно-то разумно, но в такой ситуации возникают задачи, "стоящие" 1 балл, 10 и 100. Если брать те, которые сегодня есть в ЕГЭ. (На олимпиадах такого разнобоя уровня задач не бывает. Редко-редко ставят одну "утешительную" задачу. И то, в последнее время перестали это делать.)

[Mikhail_K]

Munin в сообщении #1224644 писал(а):

Для экзамена, цель которого такова, как вы назвали, вообще не нужно давать баллы за все задачи. Нужно сделать экзамен таким:
- все задачи выстроить в линеечку по возрастанию сложности;
- в качестве балла взять номер последней правильно решённой задачи;
- все предыдущие можно не решать (как и последующие).

Такой экзамен годился бы, если бы каждый ученик с вероятностью 100% безошибочно решал задачи не выше некоторого уровня сложности, и с вероятностью 0% - задачи выше этого уровня. На самом деле это, конечно, не так.

Талантливый ученик может сразу взяться за самые сложные задачи, но не рассчитать силы и время и не успеть их решить, или решить ошибочно. Тогда результат экзамена будет неадекватен уровню знаний ученика. Эта проблема существует даже при имеющихся правилах, но там ученик понимает, что простые задачи он решить всё-таки должен, и проблема не такая острая, как в случае с Вашими правилами.

[Pphantom]

Munin в сообщении #1224644 писал(а):

- все задачи выстроить в линеечку по возрастанию сложности;
- в качестве балла взять номер последней правильно решённой задачи;
- все предыдущие можно не решать (как и последующие).

Вообще-то ЕГЭ (и это один из основных его недостатков) предназначен для конкурсного отбора на любые специальности, где может понадобиться соответствующий предмет. А во многих случаях умение претендента быстро и безошибочно решить много простых задач важнее, чем способность решить одну сложную.

[Munin]

Mikhail_K в сообщении #1224653 писал(а):

Такой экзамен годился бы, если бы каждый ученик с вероятностью 100% безошибочно решал задачи не выше некоторого уровня сложности, и с вероятностью 0% - задачи выше этого уровня. На самом деле это, конечно, не так.

Разумеется, это примерная схема. Но на таком экзамене экзаменуемый просто решает несколько задач: одну из последних, в которых он уверен, и 2-3 - более высокого уровня. В надежде, что решит правильно.

Дело в другом: перед обсуждаемым экзаменом такой цели не ставится в помине.

(Оффтоп)

Mikhail_K в сообщении #1224653 писал(а):

Талантливый ученик может сразу взяться за самые сложные задачи, но не рассчитать силы и время и не успеть их решить, или решить ошибочно. Тогда результат экзамена будет неадекватен уровню знаний ученика.

В том вымышленном случае, который вы взялись обсуждать (и который к ЕГЭ не имеет ни малейшего отношения), и это решается очень просто: можно провести пробные и тренировочные экзамены, на которых ученик:
- учится планировать свои силы и время;
- ориентируется в том, задачи какого уровня он решить может, а какого - нет.

-- 12.06.2017 17:05:02 --

Pphantom в сообщении #1224662 писал(а):

Вообще-то ЕГЭ (и это один из основных его недостатков) предназначен для конкурсного отбора на любые специальности, где может понадобиться соответствующий предмет.

Простите, если на специальности предмет нужен в слабом виде, то по нему экзаменов (и ЕГЭ) можно вообще не устраивать. Потому что конкурсный отбор и так упрощённо подходит к абитуриентам, заменяя глубокое и всестороннее выяснение их навыков двумя-тремя циферками.

Pphantom в сообщении #1224662 писал(а):

А во многих случаях умение претендента быстро и безошибочно решить много простых задач важнее, чем способность решить одну сложную.

Вот я не видел таких специальностей. И даже если такую придумать (сортировщик апельсинов?), уж совмещать подобный тест с экзаменом по математике нет никаких поводовю

[Korvin]

Munin в сообщении #1224589 писал(а):

А.В. Иванов. ЕГЭ - катастрофа образования.
https://www.youtube.com/watch?v=0GNfJut-dyo
(видео 1 час 11 минут)
(Семинар по проблемам образования. Петрозаводский государственный университет. 15 октября 2014.)

Странно что уважаемый докладчик только в 2012 году заметил двугорбость распределения первичных баллов. Есть депонированная 7-страничная работа "Об одной оценке степени коррумпированности результатов Единого Государственного Экзамена 2009 года" № 717/10-09 от 03 августа 2009 г. Издательство Московского государственного горного университета. Там 2-горбость по всем предметам.
У меня той статьи нет, но в сети осталось обсуждение, из которого следует:
"в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов"
т.е. между горбами верблюда-бактриана (вместо нормального одногорбого дромадера) разрыв 20 баллов ЕГЭ усредненно по всем предметам, а конечная выборка неоднородна и распадается в пропорции 55% честных и 45% бесчестных выпускников.
Притом тогдашняя глава Рособрнадзора подтвердила разрыв/снижение в 5-15 баллов (не понимающая в тестовых методиках глава ведомства ошибочно назвала баллы процентами) по результатам перепроверки, когда уже не было возможности или необходимости смещать показания, т.е. это честные баллы.
http://www.rg.ru/2009/10/08/rezult.html

[Munin]

Korvin в сообщении #1224761 писал(а):

Странно что уважаемый докладчик только в 2012 году заметил двугорбость распределения первичных баллов.

А он не говорил, что только.

Korvin в сообщении #1224761 писал(а):

У меня той статьи нет, но в сети осталось обсуждение, из которого следует:
"в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов"

Это, конечно, бред, школьники ничего себе приписать не могут. А если они занимаются с репетиторами, это законно.

[Korvin]

Munin в сообщении #1224589 писал(а):

(Самая лучшая и в то же время простая система пересчёта баллов - вообще без пересчёта. Какие "первичные баллы" получены, такие и ставить. Правда, проблема этим не исчерпывается. Сами задачи должны быть все одинаковы по сложности, или баллы за задачи - соответствовать их сложности, как иногда делается на олимпиадах.)

Проблема в том, что до решения задач всей совокупностью выпускников нельзя оценить их трудность и произвольно присвоить баллы (что как следует из видео делается). Трудность как и валидность задач в состоянии оценить только сами выпускники своим коллективным результатом.
Математически эта задача присвоения баллов ученикам и заданиям в тестовой теории решена, но появляется совершенно непонятное скандалезным родителям и несведущим журналистам отсутствие монотонности между количеством решенных заданий и конечным баллом. Т.е. если сами испытуемые некое задание, попавшее в тест по недоразумению решат с одинаковым % выполнения среди сильных и слабых, этому заданию вполне справедливо будет присвоена 0 трудность (оно ничего не выявляет вследствие методического просчета при составлении). Но объяснить потом немонотонность в соответствии первичных баллов и конечных никто не возьмется, ведомство сочтет что это снизит его авторитет.

-- 12.06.2017, 22:52 --

Munin в сообщении #1224762 писал(а):

Korvin в сообщении #1224761

писал(а):
У меня той статьи нет, но в сети осталось обсуждение, из которого следует:
"в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов"

Это, конечно, бред, школьники ничего себе приписать не могут. А если они занимаются с репетиторами, это законно.

Как не могут, когда идут на экзамен, имея готовые ответы на известые задания, или получают подсказку со стороны. Двугорбость не всегда предмет работы репетитора, репетиторы тоже разные, результат работы разный и не факт, что проявится отдельным горбом, может все размазаться, просто повысив средний результат в первичных баллах. А система перевода потом сместит средний конечный балл опять к 50 баллам, как и положено по тестовой теории. Максимум что проявится - вершина распределения будет уплощенная, но эксцесс распределения никто всерьез не оценивает и не комментирует.

[Munin]

Korvin в сообщении #1224770 писал(а):

Проблема в том, что до решения задач всей совокупностью выпускников нельзя оценить их трудность

Да ну что вы говорите! Опытные учителя - авторы задач это умеют делать весьма прицельно. И саму задачу "подкрутить" по сложности вверх или вниз, если понадобится.

Korvin в сообщении #1224770 писал(а):

Как не могут, когда идут на экзамен, имея готовые ответы на известые задания, или получают подсказку со стороны.

Это уже исключили.

[Korvin]

Munin в сообщении #1224797 писал(а):

Korvin в сообщении #1224770

писал(а):
Проблема в том, что до решения задач всей совокупностью выпускников нельзя оценить их трудность
Да ну что вы говорите! Опытные учителя - авторы задач это умеют делать весьма прицельно. И саму задачу "подкрутить" по сложности вверх или вниз, если понадобится.

Вот это и плохо. Забавно уже то, что даже на типовых задачах изменение условий в цифрах (!) меняет сложность. Вряд ли "опытные" учителя в состоянии это учесть. (А подобное практикуется для размножения вариантов, в молчаливом предположении, что задачи окажутся равноценными). Да и в том нет необходимости - это в состоянии учесть сами испытуемые и сделают они это более объективно. Но этого организаторы боятся еще больше - тут как говаривал Петр 1 дурость каждого выявится - не только ученика, с чем организаторы согласны, но и самих организаторов и привлеченных ими составителей.
Я просто предполагаю, что у Вас большой опыт составления и оценки задач конкурсных и олимпиадных, а мы тут говорим об объективной оценке массового ученика, собственно уже не только ЕГЭ, а шире - любыми тестами на любом уровне. ЕГЭ просто оказался в свете прожекторов, и ввиду своей важности под постоянным прицелом.

[Munin]

Я так понял, что вы ничего не поняли. Хотя, видимо, слушали. Этому есть признаки. Видимо, бывает и такое.