Построение критической области

[mclaudt]

Всегда интересовало, из какого набора соображений и допущений строится критическая область $\mathbb{C}$ при известной плотности вероятности $\rho(\varphi)$ статистики критерия $\varphi$ и заданном уровне значимости $\alpha$.

Когда статистика критерия нормальна, то выбор критических областей в виде хвостов гауссианы общепринят и очевиден.
Но вообще при данной плотности и условии $ \mathbb{P}(\varphi \in \mathbb{C}) = \alpha$ выбор $\mathbb{C}$ довольно произволен — мы можем объявить такой областью короткий отрезок даже прямо под пиком плотности вероятности, лишь бы интеграл плотности по нему дал $\alpha$.
Какое соображение заставляет нас строить критическую область, начиная с самых маловероятных значений тестовой статистики?

Уточню, что тут речь идет о подходе Фишера, где нет двух конкурирующих гипотез, как у Неймана-Пирсона, к которым можно применить требование максимума мощности критерия. Есть лишь одна простая гипотеза $H_0$.

[--mS--]

Две конкурирующие гипотезы (как мимимум) есть всегда. Из одной гипотезы выбирать не приходится . Критическая область выбирается так, чтобы критерий был состоятелен (вероятность ошибки второго рода стремилась к нулю с ростом объёма выборки) и по возможности несмещён (вероятность отвергнуть основную гипотезу при верной основной гипотезе не больше, чем при верной альтернативе). Критическая область прямо под пиком плотности вероятности не устраивает ни тому, ни другому условиям.

[mclaudt]

Почему-то постоянно подчеркивают, что в подходе Фишера речь идет лишь об одной гипотезе (хотя, разумеется, всегда можно построить её отрицание).
Я неудачно обозначил P-значение (p-values) буквой $\alpha$, а их тоже требуют отличать от ошибки первого рода у Неймана-Пирсона (НП).

Выходит, что самостоятельной завершенности этот подход не имеет, так как при уточнении требований к критической области мы обязаны вводить альтернативную гипотезу, а это уже то, о чем вы сказали - подход НП.

Получается ли, что P-значения имеют лишь историческую ценность?

[--mS--]

Вы понимаете, что выбирать из одной гипотезы бессмысленно? Если гипотеза лишь одна, то она не гипотеза, а реальность. Вы всегда либо принимаете основную гипотезу, либо отвергаете, т.е. принимаете альтернативную гипотезу!

Про историческую ценность размера критерия не поняла тем более.

[mclaudt]

Да я-то понимаю, что эти два направления по сути об одном и том же.

Однако есть работы, в которых пытаются их различить: фишеровский тест статистической значимости (одна гипотеза), и НП подход тестирования гипотез (две гипотезы).

Вот мне и захотелось понять, есть ли за таким разделением что-то, кроме терминологического шума.

(UPD: именно эта работа оказалась сомнительной, из отстойного университета, и неопубликованная. Но есть много других, более солидных материалов на эту же тему.)

[mclaudt]

mclaudt в сообщении #737454 писал(а):

Я неудачно обозначил P-значение (p-values) буквой $\alpha$, а их тоже требуют отличать от ошибки первого рода у Неймана-Пирсона (НП).

Это я жестко набредил. Расчитайте обратно, кто прочитал.

[--mS--]

Не советую читать вообще такие тексты. Авторы всерьёз полагают (судя по их курсивным выделениям), что проверяемая гипотеза бывает одна, и тем не менее её можно отвергать. Никогда не слышали о функции мощности критерия. Впервые познакомились с понятием реально достигнутого уровня значимости. И, наверное, многое ещё, но меня читать дальше пятой страницы заломало.

Не читайте таких вещей. Читайте классические учебники математической статистики.

[mclaudt]

--mS-- в сообщении #737490 писал(а):

Не читайте таких вещей.

Дело в том, что сам Фишер писал о непринятии им ошибки второго рода при оценке статистической значимости, не использовал две гипотезы.
Вот мне и захотелось узнать, как он выбирал критическую область без теории НП.
Фишеру, правда, уже шел седьмой десяток, он явно ревниво принимал успех Неймана, пытался обособить свою "статистическую значимость" от неймановской "проверки гипотез". Как аргументирует Нейман в ответе ему, он отказывался принимать существование набора альтернативных гипотез.

Вообще, читать перепалку основателей матстата довольно забавно.

Итак, насколько мне видится, нет смысла как-то выделять "подход Фишера", который был обособлен им в угоду своим амбициям: подход НП является более универсальным, в нем по крайней мере есть четкое обоснование выбора критической области.

(Оффтоп)

--mS-- в сообщении #737490 писал(а):

Читайте классические учебники математической статистики.

Их я прочесть догадался, но там нет описания контекстов применения, описания заблуждений, которые можно встретить в бесчисленной прикладной литературе.

[mclaudt]

--mS-- в сообщении #737455 писал(а):

Про историческую ценность

Я про историческую ценность P-значений именно в "подходе Фишера". Тот факт, что потом этот же термин стали использовать для обозначения реально достигнутого уровня значимости - объясняется частично данью Фишеру, частично смешением контекстов.

PS Мне тоже уныло копаться в этимологии, когда давно есть модель НП, но предысторией терминов приходится владеть, чтобы уметь быстро развенчать болтологов.

[--mS--]

В статье Фишера идёт сугубо терминологический спор. О том, как трактовать ситуацию, когда основная гипотеза данным критерием принимается ошибочно. Что не имеет ни малейшего отношения к тому, как правильно строить критерий (пример - в Вашем первом сообщении), когда два критерия с одинаковым уровнем значимости принципиально отличаются по функции мощности, и поэтому второй из них использовать нельзя.

[mclaudt]

--mS-- в сообщении #737940 писал(а):

Что не имеет ни малейшего отношения к тому, как правильно строить критерий

Не соглашусь: без представления об альтернативной гипотезе сравнивать мощности критериев невозможно, но у Фишера такого представления не было, мне интересно, как он обошелся без него. Судя по всему, он и не обошелся, просто обидно было признавать или трудно понять.

--mS-- в сообщении #737940 писал(а):

В статье Фишера идёт сугубо терминологический спор. О том, как трактовать ситуацию, когда основная гипотеза данным критерием принимается ошибочно.

Я вижу, как Нейман разъясняет упрямому вредному старикану Фишеру существование альтернативных гипотез (повторяя ваш первый комментарий, фактически) и неизбежность их использования (повторяя, собственно, заглавное сообщение темы).

Так что вроде мы с вами об одном говорим.

[--mS--]

Я не понимаю, о чём Вы хотите поговорить. Ответ на поставленный в первом сообщении вопрос я дала во втором сообщении и полагаю его исчерпывающим.

[mclaudt]

Ваш ответ, разумеется, исчерпывающий, но в рамках подхода Неймана-Пирсона. Другой теории давно уже нет, разумеется.

Но так вышло, что я раскопал этот чертов "подход Фишера", потому и пришлось перезахоронить труп с почестями.

Приношу извинения всем, кто оскорбился наблюдением его раскуроченных останков.

[--mS--]

В рамках любого подхода никакого иного ответа дать нельзя. Или пользуйтесь критерием, нечувствительным к любым отклонениям от проверяемой гипотезы. Т.е. таким, для которого данные, не устраивающие основной гипотезе, будут всё чаще признаваться устраивающими (с ростом их числа).

[GAA]

Тема перемещена из форума «Математика (общие вопросы)» в форум «Дискуссионные темы (М)»
Причина переноса: вопросы истории обсуждаются в разделе «Дт. (М)» (да и текст по ссылке в сообщении post737461.html#p737461 довольно сомнителен).