Матстат. Доверительные интервалы

[ivankrylatskoe]

Коллеги, поздравляю вас с наступившим Новым Годом!
Подсобите с задачкой, плиз

Пусть проводится серия из $n$ независимых экспериментов, в каждом из которых событие $A$ может либо произойти с вероятностью $p$, либо не произойти с вероятностью $q=1-p$. В результате серии из $n$ экспериментов событие $A$ выпало $k$ раз. В таком случае число успехов $B$ является случайной величиной, имеющей биномиальное распределение $Bin(n,p)$.

Предположим, исследователь задался доверительной вероятностью $\alpha$ и, зная $n$ и $k$, нашел доверительный интервал для вероятности $p$: $p_1 < p < p_2$.

Вопрос: возможно ли в принципе решить обратную задачу: зная границы $p_1$ и $p_2$ доверительного интервала для $p$, найти вероятность $P(p_1 < p < p_2)$? Интересует точное решение, без аппроксимаций.

Спасибо.

[--mS--]

ivankrylatskoe в сообщении #278549 писал(а):

Вопрос: возможно ли в принципе решить обратную задачу: зная границы $p_1$ и $p_2$ доверительного интервала для $p$, найти вероятность $P(p_1 < p < p_2)$? Интересует точное решение, без аппроксимаций.

Случайная величина $\nu$, равная числу успехов в $n$ экспериментах, запрятана под знаком вероятности в величинах $p_1$ и $p_2$. Если записать искомую вероятность как $\mathsf P(\nu \in E)$, где $E =\{k~|~p_1(k) < p < p_2(k)\}$, то эта вероятность находится как сумма биномиальных вероятностей $C_n^k p^k (1-p)^{n-k}$ по всем $k$ из множества $E$. И будет, разумеется, зависеть от $p$.

[ivankrylatskoe]

Если искомая вероятность $P(p_1 < p < p_2)$ зависит от $p$, то как можно утверждать, что она равна $\alpha$?

Кроме того, сами функции $p_1(k)$ и $p_2(k)$ тоже могут задаваться различными способами. Приближенный метод, использующий аппроксимацию, дает одну пару функций; некий другой, «точный» метод дает другую пару функций, и длины получающихся интервалов, мягко говоря, несколько отличаются друг от друга. Вот я и хочу сравнить точности этих методов, а для этого нужно уметь проверить сконструированное утверждение: $P(p_1 < p < p_2) = \alpha$. И это снова возвращает нас к исходному вопросу: если эта вероятность зависит от $p$, то как можно утверждать, что $P(p_1 < p < p_2)= \alpha = const?

[--mS--]

ivankrylatskoe в сообщении #278656 писал(а):

Если искомая вероятность $P(p_1 < p < p_2)$ зависит от $p$, то как можно утверждать, что она равна $\alpha$?

Ну, если повезёт, то не будет зависеть от $p$. Если $p_1$ и $p_2$ суть границы точного доверительного интервала заданного уровня $\alpha$, то не будет зависеть от $p$. Если это границы асимптотического доверительного интервала, то зависимость от $p$ исчезнет, вообще говоря, лишь с ростом $n$. Но вычислять уровень всё равно придётся так, как написано, других способов не придумано. Есть случайная величина с заданным дискретным распределением (то, что параметр его неизвестен - неважно). Вы ищете вероятность ей удовлетворять некоторому свойству. Эта вероятность есть сумма вероятностей величине принимать те значения, которые обладают требуемым свойством.

[ivankrylatskoe]

К примеру, исследователь провел некий эксперимент при $n=10$ и получил значение $k=5$. Он задался уровнем значимости $\gamma = 0.95$, и затем решил, что следует попробовать различные способы построения доверительных интервалов.

Первый способ для $\gamma = 0.95$ выдал интервал $0.40 < p < 0.60$.
Второй способ для $\gamma = 0.95$ выдал интервал $0.30 < p < 0.70$.
Третий способ для $\gamma = 0.95$ выдал интервал $0.20 < p < 0.80$.
Четвертый способ для $\gamma = 0.95$ выдал интервал $0.10 < p < 0.90$.

И теперь исследователь хочет понять, какой из полученных доверительных интервалов действительно обладает выбранным уровнем значимости $\gamma$.

[--mS--]

Увы, опасения в том, что всё к этому идёт, оправдались .
О вероятности $\mathsf P(p_1 < p < p_2)$ можно говорить только пока $p_1$ и $p_2$ являются случайными величинами, зависящими от выборки. Как только мы берём конкретную - одну - реализацию выборки, и границы интервала превращаются в два числа, вопрос о вероятности "события" $p_1 < p < p_2$ становится бессмысленным: эта "вероятность" либо 0, либо 1 в зависимости от того, лежит ли истинное значение $p$ между этими двумя числами, или не лежит. Если вопрос поставлен так, как в последнем сообщении, то он не имеет смысла примерно так же, как вопрос: "значение $X=0,3$ получено в результате наблюдения над случайной величиной из нормального или из показательного распределения?"

-- Сб янв 09, 2010 05:14:59 --

А вообще я чего-то не понимаю. Если 4 способа дают интервалы заданного уровня (вроде это в условии оговорено), то что же мы хотим проверять? Действительно ли они дают интервалы заданного уровня? Т.е. мы не доверяем тому, что уровень именно такой? Для этого не интервалы надо исследовать, а способы их построения. А если это интервалы действительно заданного уровня, то лучше тот способ, который даёт, например, более короткий интервал (для любых реализаций выборки), т.е. длины нужно сравнивать, а не уровни.

[ivankrylatskoe]

И что же, теперь не вычислять значений границ интервала?
Сколько помню, всю жизнь вычислялись. И ведь не просто так вычислялись, но ещё и смысл в эти вычисления вкладывался.

Первый раз сталкиваюсь с таким, что тебе говорят: вот это так-то и так-то, а ты, имея все данные, даже не можешь это проверить. Криптография какая-то.

Не пойму, что с этим дальше делать.

-- Сб янв 09, 2010 02:48:36 --

Фишка в том, что реальный доверительный уровень интервала редко получается равным желаемому, т.е. изначально заданной величине $\gamma$.

Об этом пишут, но не пишут, как они этот реальный уровень вычисляют.

[--mS--]

Видимо, следует сначала определиться с тем, чего именно Вы хотите. В частности, вычислять реальный уровень доверительного интрвала можно лишь до того, как в него будут подставлены цифирки, т.е. пока его границы ещё случайные величины.

Если хотите, маленький пример. Вот выборка объёма $n=10$ из нормального распределения $N(a,\,1)$:
$0,4806$, $-0,3664$, $0,8339$, $1,1962$, $-1,3639$, $0,0907$, $0,4797$, $-0,0659$, $-0,066$, $0,1783$
Вот реализации некоторых доверительных интервалов для неизвестного параметра $a$ (все - точного уровня $0,95$), построенные по этой выборке:
$(-1,4794; \, 2,4406)$, $(-1,3288;\,1,4430)$, $(-3,3239;\,0,5961)$, $(-2,0225;\,0,74933)$, $(-0,4801;\,0,7595)$.
Как видите, абсолютно разные интервалы, с абсолютно разными длинами, центрами и т.п., но - поверьте - все получены подстановкой цифирок из данной выборки в формулы для точных доверительных интервалов уровня $0,95$.

[ivankrylatskoe]

Читаю у Гмурмана:

Цитата:

Подчеркнем, что было бы ошибочным писать P(3,12 < a < 5,08) = 0,95. Действительно, так как a — постоянная величина, то либо она заключена в найденном интервале (тогда событие 3,12 < a < 5,08 достоверно и его вероятность равна единице), либо в нем не заключена (в этом случае событие 3,12 < a < 5,08 невозможно и его вероятность равна нулю).

И тут же:

Цитата:

Итак, с надежностью 0,95 неизвестный параметр a заключен в доверительном интервале 19,774 < a < 20,626

Не понимаю, какой в таком случае смысл несёт последняя фраза?

-- Сб янв 09, 2010 20:59:33 --

А каким, кстати, образом получились указанные Вами интервалы? Доверительный интервал зависит от выборки, и если ни она, ни способ построения интервала не менялся, то должен получаться одинаковый результат.

[--mS--]

ivankrylatskoe в сообщении #279018 писал(а):

И тут же:

Цитата:

Итак, с надежностью 0,95 неизвестный параметр a заключен в доверительном интервале 19,774 < a < 20,626

Не понимаю, какой в таком случае смысл несёт последняя фраза?

Только один смысл: доверительный интервал построен с помощью процедуры, которая с вероятностью $0,95$ даёт границы, накрывающие истинное значение $a$. Пользуясь этой процедурой многократно, мы будем ошибаться, полагая, что интервал накроет $a$, в среднем в 5% случаев. Ничего о том, попадает наша конкретная выборка в 95% или в 5%, эта фраза не говорит.

ivankrylatskoe в сообщении #279018 писал(а):

А каким, кстати, образом получились указанные Вами интервалы? Доверительный интервал зависит от выборки, и если ни она, ни способ построения интервала не менялся, то должен получаться одинаковый результат.

Способы, конечно же, разные, а выборка одна и та же.
Первый интервал построен как $(X_1-1,96;\,X_1+1,96)$.
Второй - как $\left(\frac{X_1+X_2}{2}-\frac{1,96}{\sqrt{2}};\, \frac{X_1+X_2}{2}+\frac{1,96}{\sqrt{2}}\right)$.
Третий: $(X_5-1,96;\,X_5+1,96)$.
Четвёртый: $\left(\frac{X_5+X_6}{2}-\frac{1,96}{\sqrt{2}};\, \frac{X_5+X_6}{2}+\frac{1,96}{\sqrt{2}}\right)$.
Наконец, пятый: $\left(\overline X-\frac{1,96}{\sqrt{10}};\, \overline X+\frac{1,96}{\sqrt{10}}\right)$.

Вероятность всех пяти неравенств $a^- < a < a^+$, где $a^\pm$ - указанные здесь границы, равна $0,95$.

[ivankrylatskoe]

Хорошо, спасибо!