2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 20:04 
Аватара пользователя


11/12/16
9653
уездный город Н
В связи с коронавирусными делами встали такие вопросы.

1. Есть процесс Бернулли с неизвестным $p$, и есть выборка. Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.
Почитал\погуглил, в том числе соответствующую тему на форуме... В частности, открыл "букварь" В.Е. ГМУРМАН. Руководство к решению задач по теории вероятностей и математической статистике.
Там указано две формулы:
Более точная: $$p_{1,2} = \frac{n}{t^2+n}(w + \frac{t^2}{2n} \pm t \sqrt{\frac{w(1-w)}{n} + (\frac{t}{2n})^2})$$
Приближенная, для больших $n$: $$p_{1,2} = w \pm t \sqrt{\frac{w(1-w)}{n}}$$
Где: $w = \frac{m}{n}$, $t$ - значение аргумента функции Лапласа, при котором $\Phi(t)=\gamma/2$ ($\gamma$ — заданная надежность).

Вроде бы, первая формула сводится ко второй при больших $n$ вне зависимости от $m$. Но меня гложут смутные сомнения о применимости этих формул для малых $m$.

2. Пусть некая величина $K$ рассчитывается так $K =1 - \frac{p_a}{p_b}$, где $p_a, p_b$ - оценки вероятностей для независимых процессов Бернулли.

Будет ли верно считать её доверительный интервал (например, для $0.95$) так:
а) посчитаем доверительные интервалы для $p_a$ и $p_b$ для $\sqrt{0.95} = 0.975$
б) после этого посчитаем границы доверительного интервала для $K$ так:
нижняя граница граница: значение $K$ для максимального $p_a$ и минимального $p_b$
верхняя граница: значение $K$ для минимального $p_a$ и максимального $p_b$

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 20:13 
Заслуженный участник
Аватара пользователя


05/12/09
1363
Москва
По-моему, все правильно.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:24 
Аватара пользователя


11/12/16
9653
уездный город Н
alisa-lebovski
Спасибо!

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:26 
Заслуженный участник
Аватара пользователя


22/06/12
2110
/dev/zero
EUgeneUS, а распределение для оценки $p$ известно?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:54 
Аватара пользователя


11/12/16
9653
уездный город Н
StaticZero в сообщении #1493334 писал(а):
EUgeneUS, а распределение для оценки $p$ известно?

мне - нет :-(

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 10:30 
Заслуженный участник
Аватара пользователя


11/03/08
7858
Москва
StaticZero в сообщении #1493334 писал(а):
EUgeneUS, а распределение для оценки $p$ известно?


Это Вы, похоже, другую задачу ставите. Байесовского оценивания. А в обычной постановке величина p неизвестна, но предполагается не случайной, а детерминированной.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 12:04 
Заслуженный участник
Аватара пользователя


11/03/08
7858
Москва
EUgeneUS в сообщении #1493302 писал(а):
Но меня гложут смутные сомнения о применимости этих формул для малых $m$.


Ну, если совсем уж малые m - то можно считать "в лоб" по формулам биномиального распределения, через суммы или $\beta$-распределение.
Другой вариант - применить нормализующее преобразование вида $\eta=\arcsin \sqrt p$ (дисперсия преобразованной величины $\frac 1 {4n}$) или иногда предлагают немного иначе: $\eta=2\arcsin \sqrt p$ (соответственно дисперсия преобразованной величины $\frac 1 {n}$). Ему подвергают выборочные частости, строят доверительный интервал для преобразованной величины, полагая ея нормальной, а затем от интервала для преобразованных переходят к интервалам для вероятностей, через $\sin^2\eta$
Границы применимости подходов, увы, указать не могу. Считать напрямую через биномиальное вычислительно затратно, хотя это всё менее и менее важный фактор. Арксинусное преобразование достаточно часто применяется, например, биологами, но при каких минимальных объёмах выборки его можно применять - чётких указаний не нашёл. Во всяком случае, преобразованная величина куда ближе к нормальному распределению, чем частость. Но при малых n и, соответственно, m дискретность никуда не денется, так что нормальное приближение останется с зияющим недостатком, "дырчатость" останется и после преобразования. Тем не менее - может оказаться вполне удовлетворительным для практики и при не особо больших m.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 12:45 
Аватара пользователя


21/01/09
3717
Дивногорск
EUgeneUS в сообщении #1493302 писал(а):
Приближенная, для больших $n$:

Какой доверительный интервал для ваших данных получился?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 13:16 
Аватара пользователя


11/12/16
9653
уездный город Н
Александрович
Вот тут результаты расчетов.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 13:27 
Аватара пользователя


21/01/09
3717
Дивногорск
EUgeneUS в сообщении #1493410 писал(а):
Вот тут

Это для данных приведённых в условии в вашем начальном посте?
Выборочная доля у вас 0,0003125. Какой доверительный интервал у вас получился для генеральной доли?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:07 
Аватара пользователя


11/12/16
9653
уездный город Н
> Это для данных приведённых в условии в вашем начальном посте?

Не совсем так.
По приведенной ссылке посчитан доверительный интервал для $K$.
Чтобы его посчитать нужно знать не только данные из первого поста этой темы, но и данные для второго процесса. Вот они: $n=4000$, $m=15$
Результаты промежуточных вычислений (такие как доверительные интервалы для $p_a$ и $p_b$) в результатах не приведены.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:34 
Аватара пользователя


21/01/09
3717
Дивногорск
Александрович в сообщении #1493404 писал(а):
Какой доверительный интервал для ваших данных получился?
Данные возьмите из вашего начального поста.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:37 
Аватара пользователя


11/12/16
9653
уездный город Н

(Оффтоп)

Александрович в сообщении #1493438 писал(а):
Данные возьмите из вашего начального поста.

Не понимаю, что Вы от меня хотите.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:44 
Заслуженный участник
Аватара пользователя


11/03/08
7858
Москва
Применительно к задаче по ссылке расчёт доверительного интервала неадекватен. Это задача на таблицы сопряжённости, и для неё легко показать значимое различие на уровне p<0.0001.
Доверительные интервалы имеет смысл рассчитывать отдельно для вероятностей заболеть. Если брать интервалы шириной 1.96 сигм (97.5% квантиль, 95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы (использовано арксин-преобразование):
1. Привитые
n=16000, m=5, 0.0311%<p<0.0314%
2. Непривитые
n=4000, m=15, 0.3735%<p<0.3765%

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 15:18 
Аватара пользователя


21/01/09
3717
Дивногорск
Александрович в сообщении #1493438 писал(а):
Александрович в сообщении #1493404 писал(а):
Какой доверительный интервал для ваших данных получился?
Данные возьмите из вашего начального поста.

EUgeneUS в сообщении #1493440 писал(а):
Не понимаю, что Вы от меня хотите.

Вот ваш начальный пост:
EUgeneUS в сообщении #1493302 писал(а):
Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 40 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Ms-dos4


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group