Планирование педагогического эксперимента

[igor_ivanov]

Здравствуйте! Допустим, нужно сравнить две методики преподавания одного школьного предмета (например, физики) в 9 классе по критерию «оценка за контрольную работу». Подскажите, пожалуйста, как лучше организовать такой эксперимент?

Мои размышления насчёт плана эксперимента:
1. Разделим учеников случайным образом на две равные группы. В одной группе будем вести уроки по одной методике, в другой группе – по другой. В течение года проведём 12 контрольных работ в каждой группе. В конце года рассчитаем средние оценки по группам. И если средние оценки по группам статистически значимо отличаются, значит между методиками есть разница по данному критерию. P.S. Интересно, какому закону подчиняется плотность распределения оценок, может, кому попадались соответствующие научные работы?
2. С выполнением пункта № 1 есть, как минимум, одна проблема: на практике его нереально выполнить из-за невозможности изменения школьного расписания под цели эксперимента. Всего есть три 9-х класса. Перебрасывать учеников из класса в класс нельзя. При этом уровень учеников в классах разный: в 9А средний балл по большинству предметов примерно на единицу выше, чем в 9В, а 9Б – нечто среднее между 9А и 9В.
3. С учётом пункта № 2 можно предложить следующее. Разделим учеников на две группы: первая группа – 9А и 9В, вторая группа – 9Б. Разделим каждую группу на подгруппы. Критерий объединения в подгруппу: оценка ученика по рассматриваемому предмету (например, физике) за предыдущий год. В одной группе будем вести уроки по одной методике, в другой группе – по другой. В течение года проведём 12 контрольных работ в каждой группе. В конце года рассчитаем средние оценки по подгруппам. И если средние оценки по подгруппам статистически значимо отличаются, значит между методиками есть разница по данному критерию.
4. Допустим, мы выяснили, что ученики, обучающиеся по первой методике, имеют статистически значимо оценки выше, чем ученики, обучающиеся по второй методике. Допустим также, что для внедрения в школу первой и второй методики требуется одинаковое количество денег, сил и времени. Достаточно ли этого для того, чтобы рекомендовать первую методику к внедрению или есть ещё какие-то нюансы?

[alisa-lebovski]

1. Фактически распределение может быть сложным. Поэтому лучше использовать критерии, свободные от распределения, например, Манна-Уитни.
3. Да, это имеет смысл.
4. Более чем. Обычно никакого научного обоснования нет, главное, что автор - человек хороший.

[Doctor Boom]

(Оффтоп)

alisa-lebovski в сообщении #1578308 писал(а):

главное, что автор - человек хороший.

Lol

[Mikhail_K]

igor_ivanov в сообщении #1578295 писал(а):

Допустим, мы выяснили, что ученики, обучающиеся по первой методике, имеют статистически значимо оценки выше, чем ученики, обучающиеся по второй методике. Допустим также, что для внедрения в школу первой и второй методики требуется одинаковое количество денег, сил и времени. Достаточно ли этого для того, чтобы рекомендовать первую методику к внедрению или есть ещё какие-то нюансы?

Нюансы есть. Рекомендую прочесть книгу
Хэтти. Видимое обучение. Синтез результатов более 50 000 исследований с охватом более 80 миллионов школьников

Если кратко. Обычно бывает выбор не между вариантами "методика 1" и "методика 2", а между вариантами "ввести такую-то методику" и "не вводить её, обучать как обычно". Так вот, метаанализы показывают, что практически любая сколько-нибудь известная методика приводит к статистически значимым улучшениям результатов учеников (как их рассчитывать, там тоже можно прочесть). Из этого правила есть несколько исключений, но их буквально можно пересчитать по пальцам.

Поэтому важно, чтобы новая предлагаемая методика приводила не просто к улучшению результатов учеников, а к существенному улучшению - большему, чем у средней наугад взятой методики.

[Ende]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Вопросы преподавания»
Причина переноса: вопрос скорее педагогический, чем математический.

[мат-ламер]

igor_ivanov в сообщении #1578295 писал(а):

4. Допустим, мы выяснили, что ученики, обучающиеся по первой методике, имеют статистически значимо оценки выше, чем ученики, обучающиеся по второй методике. Допустим также, что для внедрения в школу первой и второй методики требуется одинаковое количество денег, сил и времени. Достаточно ли этого для того, чтобы рекомендовать первую методику к внедрению или есть ещё какие-то нюансы?

Я не физик и не педагог. Но у меня есть смутные подозрения, что нюансы есть и сразу рекомендовать методику не стоит. Я полагаю, что методика преподавания в школе, это наука. И ещё сохранились люди, которые в этой науке что-то понимают. Статистика статистикой, но, думаю, хорошо бы, чтобы кроме результатов статистики получить какое-то экспертное мнение от специалистов по поводу этой методики (если это конечно реально).

Расскажу о своём впечатлении изучения физики в школе. Я не считал, что умение решать задачи из контрольных важно. Хотя я их умел решать. Имел по физике отличные оценки. Участвовал кое в каких олимпиадах. Сдал вступительный экзамен по физике в университет на отлично (но это был не физический факультет). Мне гораздо было интереснее разобраться в некоторых глобальных вопросах, насколько это было доступно школьнику. Например, почему мир устроен именно так, а не иначе? Например, почему Луна всё время обращена к нам одной стороной? Почему она постепенно удаляется от Земли? Почему Земля постепенно замедляет своё вращение? Почему скорость света максимальна и её нельзя превысить? Почему небо голубое? Почему коньки скользят по льду? И т.д. и т.п. Не все станут физиками. Не все будут сдавать ЕГЭ по физике. И по моему мнению кроме умения решать задачи из контрольных, важно научиться думать "физически". Хотя что это такое, я не знаю. Хотя, может вышеизложенное есть сугубо моё личное странное мнение.

[igor_ivanov]

alisa-lebovski в сообщении #1578308 писал(а):

Фактически распределение может быть сложным. Поэтому лучше использовать критерии, свободные от распределения, например, Манна-Уитни.

Допустим, по результатам прошлого года в первой группе в подгруппу отличники попало 5 учеников, а во второй группе в подгруппу отличники попало 2 ученика. Правильно ли я понимаю, что в формуле для расчёта критерия Манна-Уитни число элементов первой выборки $N_1=5 \cdot 12=60$, а число элементов второй выборки $N_2=2 \cdot 12=24$, где число 12 - это число контрольных работ в текущем году?

[alisa-lebovski]

igor_ivanov в сообщении #1578579 писал(а):

Правильно ли я понимаю, что в формуле для расчёта критерия Манна-Уитни число элементов

Нет, по-моему, числа элементов в выборке - это 5 и 2, а значения - надо посчитать суммы баллов по контрольным.

[EUgeneUS]

igor_ivanov
В целом-то Вы в правильном направлении рассуждаете.
Вот только реализация всего этого именно в части педагогики выглядит, хм... весьма проблемаьтичным.

Начнем с формирования тестовой и контрольной выборок.
1. А объемы выборок будут достаточны?
2. Выборки должны быть сбанасированы по разным показателям. Лучше всего их формировать случайным образом.
И кто Вам даст перетасовывать классы, например?

Далее оценка результатов.
Тут стандарт двойное ослепление. И как его организовать?
Ученики не будут знать, кто по какой методике обучается, а проверяющие контрольные не будут знать к какой группе принадлежит ученик, написавший работу?
Кто и как будет формировать вопросы\задачи на контрольной? Ну получиься ли так, что преимущество получит та методтика, которая более приспособлена к контрольной, а не к передаче знаний ученикам?

И так далее и тому подобное....

[igor_ivanov]

alisa-lebovski в сообщении #1578585 писал(а):

Нет, по-моему, числа элементов в выборке - это 5 и 2, а значения - надо посчитать суммы баллов по контрольным.

Попробую обосновать свою позицию. В первой группе в подгруппе «отличники» у нас 5 учеников. Мы считаем их одинаковыми по показателю «оценка за контрольную работу». Допустим, «отличники» пишут любую контрольную работу на 5 с вероятностью 80 % и на 4 с вероятностью 20 %. Тогда с точки зрения статистики нет никакой разницы, если один «отличник» напишет 60 контрольных работ или если пять «отличников» напишут по 12 контрольных работ. Таким образом, $N_1=60$.

-- 24.01.2023, 23:09 --

EUgeneUS в сообщении #1578592 писал(а):

А объемы выборок будут достаточны?

Чтобы оценить какими должны быть объёмы выборок, мне сначала нужно определиться с тем, что такое объём выборки в данном случае (см. моё предыдущее сообщение).

EUgeneUS в сообщении #1578592 писал(а):

Выборки должны быть сбанасированы по разным показателям. Лучше всего их формировать случайным образом

В первом посте я предложил разделить учеников на подгруппы по показателю «оценка по предмету за предыдущий год». Абсолютно сбалансированными классами они от этого, конечно, не станут. Но пока это лучшее, что я могу предложить.

EUgeneUS в сообщении #1578592 писал(а):

Ученики не будут знать, кто по какой методике обучается

Если речь идёт о том, что ученики одного класса не должны знать, что ученики другого класса обучаются по иной методике, то это можно устроить. Например, можно проводить эксперимент не в одной школе, а в двух. С другой стороны, ученики обоих классов находятся в равных условиях в том смысле, что и те и другие знают, что обучаются по разным методикам. Поэтому особого смысла устранять влияние данного фактора на результаты эксперимента не вижу. Тем не менее, если такая возможность представится, я ею воспользуюсь.

EUgeneUS в сообщении #1578592 писал(а):

проверяющие контрольные не будут знать к какой группе принадлежит ученик, написавший работу?

В принципе это можно устроить. Эта мера позволит исключить ситуацию с (не)умышленным завышением/занижением оценок при проверке работ. Однако реализовать меры для исключения ситуации с умышленным влиянием на оценки на других этапах, скорее всего, не выйдет, так как для этого нет ресурсов. Выход один – сослаться на презумпцию добросовестности.

EUgeneUS в сообщении #1578592 писал(а):

Кто и как будет формировать вопросы\задачи на контрольной? Ну получиься ли так, что преимущество получит та методтика, которая более приспособлена к контрольной, а не к передаче знаний ученикам?

Задачи для контрольной может выбирать другой человек из банка заданий ОГЭ/ЕГЭ. Идея такая себе, но другие идеи, скорее всего, будут ещё хуже.

[мат-ламер]

igor_ivanov в сообщении #1578642 писал(а):

Тогда с точки зрения статистики нет никакой разницы, если один «отличник» напишет 60 контрольных работ или если пять «отличников» напишут по 12 контрольных работ.

Критерий Манна-Уитни подразумевает, что у нас наблюдения независимы. Оценки одного и того же ученика явно зависимы между собой.

[igor_ivanov]

мат-ламер в сообщении #1578645 писал(а):

Критерий Манна-Уитни подразумевает, что у нас наблюдения независимы. Оценки одного и того же ученика явно зависимы между собой.

В матмодели, которую предложил я («отличники» пишут любую контрольную работу на 5 с вероятностью 80 % и на 4 с вероятностью 20 %), оценки независимы. Если говорить не о моей матмодели, а о реальном положении дел, можете ли Вы предложить матмодель, которая более правдоподобным образом моделирует реальность?
В целом я согласен с тем, что оценки зависимы: если ученик получил 5 за первую контрольную, значит, он хорошо усвоил материал и может применить эти знания на следующей контрольной при условии, что в данную контрольную включены сведения из темы, по которой писалась первая контрольная.

[alisa-lebovski]

igor_ivanov в сообщении #1578642 писал(а):

Попробую обосновать свою позицию. В первой группе в подгруппе «отличники» у нас 5 учеников. Мы считаем их одинаковыми по показателю «оценка за контрольную работу». Допустим, «отличники» пишут любую контрольную работу на 5 с вероятностью 80 % и на 4 с вероятностью 20 %. Тогда с точки зрения статистики нет никакой разницы, если один «отличник» напишет 60 контрольных работ или если пять «отличников» напишут по 12 контрольных работ. Таким образом, $N_1=60$.

По-научному говоря, результаты каждого ученика по контрольным предполагаются условно независимыми, при условии, что известна его исходная оценки. Да, в этом действительно есть смысл, который я сначала не уловила. С другой стороны, далее возникает вторая модель.

igor_ivanov в сообщении #1578650 писал(а):

В целом я согласен с тем, что оценки зависимы: если ученик получил 5 за первую контрольную, значит, он хорошо усвоил материал и может применить эти знания на следующей контрольной при условии, что в данную контрольную включены сведения из темы, по которой писалась первая контрольная.

В этом случае все сложнее. Я думаю, это зависит еще от предмета и изложения в нем материала. Если он состоит из частей, которые можно осваивать достаточно независимо, одно дело. Если освоение каждой новой части опирается на предыдущие, другое дело. С другой стороны, если человек отличник, то он может со времени прошлой плохо написанной контрольной подтянуться и написать следующую, как если бы он и прошлую написал хорошо. Рассуждать можно по-разному. В общем, проще, конечно, не закапываться в это глубоко и просто суммировать баллы (как я первоначально имела в виду), но тогда придется иметь дело с малыми выборками.

[мат-ламер]

Поясню за независимость. Тут ещё возникает новый термин - "однородность". Сравниваются две выборки, которые по идее должны быть однородными. Допустим, у нас в выборке есть отличник. У него в разных контрольных работах будет с большой вероятностью одна и та же оценка - "отлично", причём независимо от внедряемой методики. Если у нас в выборке есть троечник, то у него с большой вероятностью все оценки будут тройками, причём также независимо от методики. Физика ему глубоко неинтересна. Может в настоящее время он увлёкся программированием. Если мы в первую группу объединим отличников и троечников (класс "А" и "В"), а во вторую группу хорошистов (класс "Б"), то может случиться и так, что первая группа будет слабее реагировать на отличие в методике, чем вторая. Однородность, это общее желательное требование к статистическим исследованиям. А что касается конкретно рассматриваемого критерия, то между результатами разных контрольных работ одного и того же ученика существует сильная корреляция, что должно сказаться на результате, который даст критерий. alisa-lebovski высказала интересную мысль, что надо сгруппировать все результаты одного ученика в одну суммарную оценку. Мы тем самым зависимость устраним. Но тогда объём выборки сильно уменьшится. И мы не сможем получить нужное нам заключение с должной уверенностью.

[alisa-lebovski]

мат-ламер, насколько я поняла, речь шла о том, чтобы во всех классах выделить подгруппы изначальных троечников, хорошистов и отличников (как однородные), и далее следить за ними отдельно. То, что между результатами контрольных одного ученика есть большая корреляция, понятно, но может быть, условной корреляции почти нет, при условии, что известен тип ученика. Это на самом деле нельзя установить рассуждениями, надо проверять экспериментально.