Дов. интервал для p в биномиальном распределении. Снова

[EUgeneUS]

В связи с коронавирусными делами встали такие вопросы.

1. Есть процесс Бернулли с неизвестным $p$, и есть выборка. Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.
Почитал\погуглил, в том числе соответствующую тему на форуме... В частности, открыл "букварь" В.Е. ГМУРМАН. Руководство к решению задач по теории вероятностей и математической статистике.
Там указано две формулы:
Более точная:

$$p_{1,2} = \frac{n}{t^2+n}(w + \frac{t^2}{2n} \pm t \sqrt{\frac{w(1-w)}{n} + (\frac{t}{2n})^2})$$

Приближенная, для больших $n$:

$$p_{1,2} = w \pm t \sqrt{\frac{w(1-w)}{n}}$$

Где: $w = \frac{m}{n}$, $t$ - значение аргумента функции Лапласа, при котором $\Phi(t)=\gamma/2$ ($\gamma$ — заданная надежность).

Вроде бы, первая формула сводится ко второй при больших $n$ вне зависимости от $m$. Но меня гложут смутные сомнения о применимости этих формул для малых $m$.

2. Пусть некая величина $K$ рассчитывается так $K =1 - \frac{p_a}{p_b}$, где $p_a, p_b$ - оценки вероятностей для независимых процессов Бернулли.

Будет ли верно считать её доверительный интервал (например, для $0.95$) так:
а) посчитаем доверительные интервалы для $p_a$ и $p_b$ для $\sqrt{0.95} = 0.975$
б) после этого посчитаем границы доверительного интервала для $K$ так:
нижняя граница граница: значение $K$ для максимального $p_a$ и минимального $p_b$
верхняя граница: значение $K$ для минимального $p_a$ и максимального $p_b$

[alisa-lebovski]

По-моему, все правильно.

[EUgeneUS]

alisa-lebovski
Спасибо!

[StaticZero]

EUgeneUS, а распределение для оценки $p$ известно?

[EUgeneUS]

StaticZero в сообщении #1493334 писал(а):

EUgeneUS, а распределение для оценки $p$ известно?

мне - нет

[Евгений Машеров]

StaticZero в сообщении #1493334 писал(а):

EUgeneUS, а распределение для оценки $p$ известно?

Это Вы, похоже, другую задачу ставите. Байесовского оценивания. А в обычной постановке величина p неизвестна, но предполагается не случайной, а детерминированной.

[Евгений Машеров]

EUgeneUS в сообщении #1493302 писал(а):

Но меня гложут смутные сомнения о применимости этих формул для малых $m$.

Ну, если совсем уж малые m - то можно считать "в лоб" по формулам биномиального распределения, через суммы или $\beta$-распределение.
Другой вариант - применить нормализующее преобразование вида $\eta=\arcsin \sqrt p$ (дисперсия преобразованной величины $\frac 1 {4n}$) или иногда предлагают немного иначе: $\eta=2\arcsin \sqrt p$ (соответственно дисперсия преобразованной величины $\frac 1 {n}$). Ему подвергают выборочные частости, строят доверительный интервал для преобразованной величины, полагая ея нормальной, а затем от интервала для преобразованных переходят к интервалам для вероятностей, через $\sin^2\eta$
Границы применимости подходов, увы, указать не могу. Считать напрямую через биномиальное вычислительно затратно, хотя это всё менее и менее важный фактор. Арксинусное преобразование достаточно часто применяется, например, биологами, но при каких минимальных объёмах выборки его можно применять - чётких указаний не нашёл. Во всяком случае, преобразованная величина куда ближе к нормальному распределению, чем частость. Но при малых n и, соответственно, m дискретность никуда не денется, так что нормальное приближение останется с зияющим недостатком, "дырчатость" останется и после преобразования. Тем не менее - может оказаться вполне удовлетворительным для практики и при не особо больших m.

[Александрович]

EUgeneUS в сообщении #1493302 писал(а):

Приближенная, для больших $n$:

Какой доверительный интервал для ваших данных получился?

[EUgeneUS]

Александрович
Вот тут результаты расчетов.

[Александрович]

EUgeneUS в сообщении #1493410 писал(а):

Вот тут

Это для данных приведённых в условии в вашем начальном посте?
Выборочная доля у вас 0,0003125. Какой доверительный интервал у вас получился для генеральной доли?

[EUgeneUS]

> Это для данных приведённых в условии в вашем начальном посте?

Не совсем так.
По приведенной ссылке посчитан доверительный интервал для $K$.
Чтобы его посчитать нужно знать не только данные из первого поста этой темы, но и данные для второго процесса. Вот они: $n=4000$, $m=15$
Результаты промежуточных вычислений (такие как доверительные интервалы для $p_a$ и $p_b$) в результатах не приведены.

[Александрович]

Александрович в сообщении #1493404 писал(а):

Какой доверительный интервал для ваших данных получился?

Данные возьмите из вашего начального поста.

[EUgeneUS]

(Оффтоп)

Александрович в сообщении #1493438 писал(а):

Данные возьмите из вашего начального поста.

Не понимаю, что Вы от меня хотите.

[Евгений Машеров]

Применительно к задаче по ссылке расчёт доверительного интервала неадекватен. Это задача на таблицы сопряжённости, и для неё легко показать значимое различие на уровне p<0.0001.
Доверительные интервалы имеет смысл рассчитывать отдельно для вероятностей заболеть. Если брать интервалы шириной 1.96 сигм (97.5% квантиль, 95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы (использовано арксин-преобразование):
1. Привитые
n=16000, m=5, 0.0311%<p<0.0314%
2. Непривитые
n=4000, m=15, 0.3735%<p<0.3765%

[Александрович]

Александрович в сообщении #1493438 писал(а):

Александрович в сообщении #1493404 писал(а):

Какой доверительный интервал для ваших данных получился?

Данные возьмите из вашего начального поста.

EUgeneUS в сообщении #1493440 писал(а):

Не понимаю, что Вы от меня хотите.

Вот ваш начальный пост:

EUgeneUS в сообщении #1493302 писал(а):

Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.