Двустороняя критическая область: как объяснить

[provincialka]

Меня в последнее время "бросили" на преподавание статистики самым разным специальностям. Но методического опыта пока не хватает.

Вот, например, объясняю я, как можно выбрать критическую область при проверке гипотезы. Рассказываю постепенно, чтобы студенты сами "дошли" до нужных идей.
Сначала предлагаю просто посчитать вероятность того исхода, который получился при построении выборки. Ну, например, бросили монету 10 раз, каждый исход имеет вероятность 1/1024. Ясно, что эта вероятность ни о чем не говорит, она получится и для 5 орлов, и для 10 решек.

Студенты, естественно, предлагают учитывать не порядок орлов/решек, а их количество. Я поддерживаю. Считаем по биномиальному закону вероятности. Вероятность 2 орлов мала. Значит, при выпадении 2 орлов гипотезу о правильной монете надо отвергнуть? Я привожу другой пример: если бросков 1000, то даже самый вероятный исход (500 орлов) имеет вероятность около 2,5%. Значит ли это, что при выпадании 500 орлов гипотезу $p = 0,5$ надо отвергнуть? Ясно, нет. Значит, надо построить какое-то другое множество "маловероятных" исходов. Тут я предлагаю рассматривать множества вида $x\le k$, где $x$ - переменная, распределенная так же, как статистика (в данной задаче - число орлов). Это воспринимается нормально.

Но вот я перехожу к двусторонним гипотезам. Ведь если монета испорчена, мы заранее не знаем, в какую сторону может отклониться вероятность. Поэтому в качестве критической области естественно рассматривать двустороннюю область, $(x\le k)\vee (x\ge l)$. Нельзя сказать, что студенты противятся этой идее. Им на этой стадии все равно: вроде правдоподобно, препод сказал - ну и ладно. Но мне самой хотелось бы более глубоко обосновать идею.

В конце концов, если при бросании 10 монет выпало 2 орла, почему не рассмотреть в качестве p-value вероятность $\alpha = P(x\le 2)$? Почему надо учитывать еще и возможность больших значений $x$ и умножать $\alpha$ на 2?

Есть ли этому серьезная причина (ну, например, можно с глубокомысленным видом пробормотать что-нибудь про мощность критерия). Или это просто почему-то удобно? Или традиция такая?

Я понимаю, что выбор критической области - тема скользкая, вряд ли он может быть полностью обоснован. Но какие-то причины привести можно?

[Tookser]

Возможно, написал бред, но разве второе, про что Вы говорите - это не возможность выпадения $10-l$ или менее решек? Объяснять можно так же, как и с орлами, или же все выразить через орлов (тогда это будет $l$ или более орлов).
Умножать на 2, если все правильно понял, можно из симметричности области (которая получается из симметричности задачи, иначе некрасиво - область несимметричная, а задача симметричная). Т.е. это как посчитать две одинаковые по вероятности области.

[provincialka]

Не совсем то. Конечно, лучше взять симметричную область. Непонятно, зачем вообще умножать на 2?
Вот, например, у вас выпало 9 орлов из 28 опытов. Считаем вероятность того, что $k\le 9$, она равна примерно $4,4\%<5\%$. Если учесть также возможность больших $k$, надо эту вероятность удвоить, после чего она станет уже больше $5\%$. Так принимать гипотезу о правильной кости или отвергать?

Если мы знаем, что много орлов быть не может (подозрение, $H_1$, что их будет мало), то гипотеза односторонняя и мы отвергаем $H_0$, т.е. считаем монету неправильной.
Если же мы заранее не знаем, как именно может быть испорчена монета, надо использовать двустороннюю гипотезу и придется $H_0$ принять. Т.е. признать монету правильной. При том же исходе опыта!

Как это объяснить на уровне здравого смысла? Ведь эксперимент показал мало орлов, почему мы должны говорить "а вдруг их на самом деле много?"

[Nemiroff]

Если ваша гипотеза в том, что монета "правильная", то улетают такие значения, при которых монета "неправильная". А потом вы скажете "с таким-то правдоподобием монета и правда правильная".
Но, как вы сами говорите, возможна другая гипотеза: "монета чаще выпадает орлом", тогда отвергаем только те, где орлов мало.

Я как-то так представлял себе.

[provincialka]

Нулевая гипотеза в обоих случаях одна и та же, $p=1/2$. А вот критическую область можно выбирать по-разному. Если мы описываем ее априори, до опыта, придется учитывать, что плохие монеты могут быть и "малоорловыми" и "многоорловыми". Например, фальшивомонетчики сделали "косые" монеты, несбалансированные. Некоторые из них будут падать в основном орлами. Другие - в основном решками. Поэтому логично включить в критическую область и малые значения $k$, и большие. Чтобы она подошла для всех плохих монет. Но ведь каждая монета - только одного типа. Она не может сегодня падать орлами, а завтра - решками. Поэтому другой подход -сделать критическую область переменной, то лево-, то право- сторонней, в зависимости от выборки.
Может, сама эта переменчивость плоха?

[Nemiroff]

provincialka в сообщении #790617 писал(а):

Поэтому другой подход -сделать критическую область переменной, то лево-, то право- сторонней, в зависимости от выборки.

А в чём логика? Подбирая критическую область нужным (можно весьма бредовым) способом, мы вообще любую монету можем сделать правильной или неправильной. Вот упала монета поровну раз орлом и решкой — "что-то тут подозрительно, не верю я ей, давайте как раз такое значение и выкинем".

provincialka в сообщении #790617 писал(а):

Может, сама эта переменчивость плоха?

Я для себя всегда понимал, что критическая область — это функция гипотез и желаемых уровней достоверности, но никак не выборки. То бишь, я бы это так объяснял кому-то, если бы пришлось.

provincialka в сообщении #790617 писал(а):

Но ведь каждая монета - только одного типа. Она не может сегодня падать орлами, а завтра - решками.

Если повезёт, может.
Допустим, вы будете отрезать от распределения только одну сторону с площадью $\alpha$. Тогда повторяя много раз эксперимент (новая выборка, новая выборка, опять новая выборка), вы будете то с одного, то с другого конца отрезать эти куски. И в среднем вы отрежете $2\alpha$.

[Ms-dos4]

provincialka
Односторонний критерий можно применить, если есть очень веские основания полагать, что "уклонение" может идти только в одну сторону. Как уже сказали выше, фактически вы рассматривали две гипотезы. Т.е. допустим, вы ещё не бросали монету, и не знаете, что выпадает чаще. Вам нужно использовать двусторонний тест. Вы совершаете эксперимент, и на его основании решаете принять ли нулевую гипотезу (с определённой вероятностью). Если же вам уже известны результаты эксперимента, допустим у вас выпало очень много (относительно общего числа бросков) орлов, вы действительно можете использовать односторонний тест, но ведь с определённой вероятностью это могло быть и случайностью (особенно если бросков не слишком много). Т.е. мало того, что будет существовать вероятность ошибиться в самом тесте, есть ещё вероятность ошибки связанная с выбором одностороннего теста.
P.S.В общем лучше "перестраховываться" и использовать двусторонний тест.

[provincialka]

Ms-dos4 Спасибо, такое объяснение вполне подойдет для моих студентов. Впрочем, я как раз сегодня пыталась объяснить им (регионоведам), почему в качестве критической области не подходит одно значение статистики, вы бы посмотрели на их лица... Воплощённое страдание.