Проверка простой гипотезы против двусторонней альтернативы

[ShMaxG]

В случае двух простых гипотез с абсолютно-непрерывными гипотетическими распределениями (и еще некоторыми условиями) задачу поиска оптимального критерия можно свести (критерий Неймана-Пирсона) к поиску числа $c_{\alpha}$ такого, что

$$\[{\Omega _1} = \left\{ {x:\frac{{L\left( {x,{\theta _1}} \right)}}{{L\left( {x,{\theta _0}} \right)}} \geqslant {c_\alpha }} \right\}\]$$

и при этом

$$\[\int\limits_{{\Omega _1}} {L\left( {x,{\theta _0}} \right)dx} = \alpha \]$$

Суть ясна: будем отклонять гипотезу $\[{H_0}\]$ там, где функция правдоподобия, соответствующая гипотезе $H_1$, во столько раз больше функции правдоподобия для $H_0$ (гипотеза $H_1$ во столько раз правдоподобнее гипотезы $H_0$), сколько это необходимо для удовлетворения ограничению по ошибке первого рода.

В случае же простой гипотезы при двусторонней альтернативе:

$$\[\begin{gathered} {H_0}:\theta = {\theta _0} \hfill \\ {H_1}:\theta \ne {\theta _0} \hfill \\ \end{gathered} \]$$

задачу поиска р.н.м. несмещенного к. (тоже при определенных условиях) можно ставить как поиск чисел $\[c \geqslant 0\]$ и $\[{c_1}\]$:

$$\[{\Omega _1} = \left\{ {x:L\left( {x,\theta } \right) \geqslant cL\left( {x,{\theta _0}} \right) + {c_1}{L_1}\left( {x,{\theta _0}} \right)} \right\}\]$$

$$\[\int\limits_{{\Omega _1}} {L\left( {x,{\theta _0}} \right)dx} = \alpha \]$$

$$\[\int\limits_{{\Omega _1}} {{L_1}\left( {x,{\theta _0}} \right)dx} = 0\]$$

Так вот здесь эта "суть" мне не ясна... Функция отношения правдоподобия также должна быть достаточно велика, но каким образом появляются константы и производная? Не внезапно же они появились . Понятно, что с ними работает некая теорема и все счастливы. Но может быть есть какие-то интуитивные (или не очень) предпосылки к рассмотрению именно такого множества $\Omega_1$? Т.е. меня интересует вопрос: как мы приходим к рассмотрению такой конструкции?

[--mS--]

Не, что-то у Вас здесь не так. Кто такое для двусторонней альтернативы $L_1$? Может, это аккурат и есть производная от логарифмической функции правдоподобия?

[ShMaxG]

У меня $\[L_1\left( {x,\theta } \right) = \frac{{\partial L}}{{\partial \theta }}\]$. Функция $\[L\left( {x,{\theta}} \right)\]$ - функция правдоподобия.

[Andrew Gubarev]

Совсем «на пальцах» для случая строгой несмещенности.
Предположим, что критическая область задана. Производная «появляется» из условия несмещенности: $W(\theta)$ достигает минимума при $\theta = \theta_0$, т.е. интеграл $\int_{\Omega_1} L(\theta; x) dx$ достигает минимума при $\theta = \theta_0$, следовательно, при «определенных условиях»,

$\int_{\Omega_1} L_1(\theta_0; x) dx = 0$. (1)

С другой стороны, для того чтобы критерий был заданного уровня, должно выполняться

$\int_{\Omega_1} L(\theta_0; x) dx = \alpha$ (2).

Таким образом, приходим к оптимизационной задаче максимизации мощности при заданных соотношениях (1) и (2).

Точная формулировка общей абстрактной задачи и её решение приведено в [1, гл. 3, §5, п. 3] или в [2, гл. 3, §6] (обобщенная лемма Неймана — Пирсона).

[1] Боровков А. А. Математическая статистика. — М.: Наука, 1984 (djvu).
[2] Лемен Э. Проверка статистических гипотез. — М.: Наука, 1979 (djvu).

[ShMaxG]

Здорово, спасибо!
Теперь осталось подумать, как мы приходим к такому виду критической области. Литературу посмотрю.

[Andrew Gubarev]

В оригинальном доказательстве леммы авторы ссылаются на аналогию с задачами вариационного исчисления (“Following the ordinary method of the Calculus of Variations, the problem will consist in finding an unconditioned minimum of expression…” [3, § 3 “Simple hypotheses”, p.298], но, поскольку точно свести к известной задаче вариационного исчисления не получилось, они приводят достаточно длинное доказательство.

Для случая несмещенного критерия аналогия та же: просто добавляется еще один неопределенный множитель (в обозначениях начального сообщения $c_1$), умноженный на подынтегральное выражение второй «связи» ($L_1(\theta_0; x)$).

Аналогия с классической общей изопереметрической задачей, конечно очень отдаленная, но в качестве ответа на вопрос об интуитивных предпосылках «к рассмотрению именно такого множества $\Omega_1$», видимо, сойдет. На эту аналогию я намекал в предыдущем сообщении.

[3] Neyman J., Person K. On the problem of the most efficient tests of statistical hypotheses // Philosophical Transactions of the Royal Society of London. Series A, Vol. 231, (1933), pp. 289-337 (pdf).

[ShMaxG]

Выше у меня был рассмотрен случай абсолютно непрерывных гипотетических распределений для гипотез. Но пусть гипотетические распределения дискретны. Правильно ли я понимаю следующее.

Пусть класс рассматриваемых распределений задается множеством плотностей

$$\[f\left( {x|\theta } \right) = h\left( x \right)\exp \left\{ {a\left( \theta \right)U\left( x \right) + V\left( \theta \right)} \right\},{\text{ }}\theta \in I \subseteq \mathbb{R}\]$$

где функция $\[{a\left( \theta \right)}\]$ монотонна, $I$ -- интервал, $\[{\theta _0}\]$ -- внутренняя точка $I$.
Пусть гипотетическим гипотезам соответствуют дискретные распределения и дан случай проверки гипотезы $H_0$ при двусторонней альтернативе в виде

$$\[\begin{gathered} {H_0}:\theta = {\theta _0} \hfill \\ {H_1}:\theta \ne {\theta _0} \hfill \\ \end{gathered} \]$$

Тогда в классе несмещенных критериев с ошибкой первого рода $\alpha$ существует р.н.м. критерий с критической функцией $\[\pi \left( x \right)\]$ такой, что

$$\[\pi \left( x \right) = \left\{ \begin{gathered} 0,{\text{ }}{c_1} < T\left( x \right) < {c_2} \hfill \\ 1,{\text{ }}T\left( x \right) \notin \left[ {{c_1},{c_2}} \right] \hfill \\ {p_i},{\text{ }}T\left( x \right) = {c_i},{\text{ }}i = 1,2 \hfill \\ \end{gathered} \right.\]$$

где $\[T\left( x \right) = \sum\limits_{i = 1}^n {U\left( {{x_i}} \right)} \]$ и постоянные $c_i$, $p_i$ находятся из условий

$$\[{{\mathbf{E}}_{{\theta _0}}}\pi \left( X \right) \equiv \sum\limits_{x:\left\{ {T\left( x \right) \notin \left[ {{c_1},{c_2}} \right]} \right\}} {L\left( {x|{\theta _0}} \right)} + {p_1}\sum\limits_{x:T\left( x \right) = {c_1}} {L\left( {x|{\theta _0}} \right)} + {p_2}\sum\limits_{x:T\left( x \right) = {c_2}} {L\left( {x|{\theta _0}} \right)} = \alpha \]$$

$$\[\begin{gathered} {{\mathbf{E}}_{{\theta _0}}}\left[ {\pi \left( X \right) - \alpha } \right]T\left( x \right) \equiv \left[ {1 - \alpha } \right]\sum\limits_{x:\left\{ {T\left( x \right) \notin \left[ {{c_1},{c_2}} \right]} \right\}} {T\left( x \right)L\left( {x|{\theta _0}} \right)} + \hfill \\ + {c_1}\left[ {{p_1} - \alpha } \right]\sum\limits_{x:T\left( x \right) = {c_1}} {L\left( {x|{\theta _0}} \right)} + {c_2}\left[ {{p_2} - \alpha } \right]\sum\limits_{x:T\left( x \right) = {c_2}} {L\left( {x|{\theta _0}} \right)} = 0 \hfill \\ \end{gathered} \]$$

[--mS--]

А в чём вопрос-то? Правильно ли Вы умеете вычислять матожидание функции от выборки из дискретного распределения? Ну наверное, умеете В последнем равенстве только одно слагаемое потеряли, отвечающее $\pi(X)=0$. Или правильно ли записана теорема 1 п.2 параграфа 6 и т.д.? Даже правильнее, чем в книге

[ShMaxG]

Ну в той книге очень много разных слов и обозначений, я не сразу осилил, думал сюда написать, чтобы меня перепроверили на всякий случай:

ShMaxG в сообщении #632765 писал(а):

Правильно ли я понимаю следующее.

Ну да, я вот забыл только одно слагаемое. А почему "правильнее, чем в книге?"

[--mS--]

Ну как бы там опущены подробности типа "$\Theta$ - интервал, $\theta_0$ - его внутренняя точка" и т.п., а в равенствах (6) для случая $\theta_1<\theta_2$ (которого у Вас нет) индекс $i$ потерян