2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 20:04 
Аватара пользователя


11/12/16
13195
уездный город Н
В связи с коронавирусными делами встали такие вопросы.

1. Есть процесс Бернулли с неизвестным $p$, и есть выборка. Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.
Почитал\погуглил, в том числе соответствующую тему на форуме... В частности, открыл "букварь" В.Е. ГМУРМАН. Руководство к решению задач по теории вероятностей и математической статистике.
Там указано две формулы:
Более точная: $$p_{1,2} = \frac{n}{t^2+n}(w + \frac{t^2}{2n} \pm t \sqrt{\frac{w(1-w)}{n} + (\frac{t}{2n})^2})$$
Приближенная, для больших $n$: $$p_{1,2} = w \pm t \sqrt{\frac{w(1-w)}{n}}$$
Где: $w = \frac{m}{n}$, $t$ - значение аргумента функции Лапласа, при котором $\Phi(t)=\gamma/2$ ($\gamma$ — заданная надежность).

Вроде бы, первая формула сводится ко второй при больших $n$ вне зависимости от $m$. Но меня гложут смутные сомнения о применимости этих формул для малых $m$.

2. Пусть некая величина $K$ рассчитывается так $K =1 - \frac{p_a}{p_b}$, где $p_a, p_b$ - оценки вероятностей для независимых процессов Бернулли.

Будет ли верно считать её доверительный интервал (например, для $0.95$) так:
а) посчитаем доверительные интервалы для $p_a$ и $p_b$ для $\sqrt{0.95} = 0.975$
б) после этого посчитаем границы доверительного интервала для $K$ так:
нижняя граница граница: значение $K$ для максимального $p_a$ и минимального $p_b$
верхняя граница: значение $K$ для минимального $p_a$ и максимального $p_b$

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 20:13 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
По-моему, все правильно.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:24 
Аватара пользователя


11/12/16
13195
уездный город Н
alisa-lebovski
Спасибо!

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:26 
Заслуженный участник
Аватара пользователя


22/06/12
2129
/dev/zero
EUgeneUS, а распределение для оценки $p$ известно?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение19.11.2020, 21:54 
Аватара пользователя


11/12/16
13195
уездный город Н
StaticZero в сообщении #1493334 писал(а):
EUgeneUS, а распределение для оценки $p$ известно?

мне - нет :-(

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 10:30 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
StaticZero в сообщении #1493334 писал(а):
EUgeneUS, а распределение для оценки $p$ известно?


Это Вы, похоже, другую задачу ставите. Байесовского оценивания. А в обычной постановке величина p неизвестна, но предполагается не случайной, а детерминированной.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 12:04 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
EUgeneUS в сообщении #1493302 писал(а):
Но меня гложут смутные сомнения о применимости этих формул для малых $m$.


Ну, если совсем уж малые m - то можно считать "в лоб" по формулам биномиального распределения, через суммы или $\beta$-распределение.
Другой вариант - применить нормализующее преобразование вида $\eta=\arcsin \sqrt p$ (дисперсия преобразованной величины $\frac 1 {4n}$) или иногда предлагают немного иначе: $\eta=2\arcsin \sqrt p$ (соответственно дисперсия преобразованной величины $\frac 1 {n}$). Ему подвергают выборочные частости, строят доверительный интервал для преобразованной величины, полагая ея нормальной, а затем от интервала для преобразованных переходят к интервалам для вероятностей, через $\sin^2\eta$
Границы применимости подходов, увы, указать не могу. Считать напрямую через биномиальное вычислительно затратно, хотя это всё менее и менее важный фактор. Арксинусное преобразование достаточно часто применяется, например, биологами, но при каких минимальных объёмах выборки его можно применять - чётких указаний не нашёл. Во всяком случае, преобразованная величина куда ближе к нормальному распределению, чем частость. Но при малых n и, соответственно, m дискретность никуда не денется, так что нормальное приближение останется с зияющим недостатком, "дырчатость" останется и после преобразования. Тем не менее - может оказаться вполне удовлетворительным для практики и при не особо больших m.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 12:45 
Аватара пользователя


21/01/09
3923
Дивногорск
EUgeneUS в сообщении #1493302 писал(а):
Приближенная, для больших $n$:

Какой доверительный интервал для ваших данных получился?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 13:16 
Аватара пользователя


11/12/16
13195
уездный город Н
Александрович
Вот тут результаты расчетов.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 13:27 
Аватара пользователя


21/01/09
3923
Дивногорск
EUgeneUS в сообщении #1493410 писал(а):
Вот тут

Это для данных приведённых в условии в вашем начальном посте?
Выборочная доля у вас 0,0003125. Какой доверительный интервал у вас получился для генеральной доли?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:07 
Аватара пользователя


11/12/16
13195
уездный город Н
> Это для данных приведённых в условии в вашем начальном посте?

Не совсем так.
По приведенной ссылке посчитан доверительный интервал для $K$.
Чтобы его посчитать нужно знать не только данные из первого поста этой темы, но и данные для второго процесса. Вот они: $n=4000$, $m=15$
Результаты промежуточных вычислений (такие как доверительные интервалы для $p_a$ и $p_b$) в результатах не приведены.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:34 
Аватара пользователя


21/01/09
3923
Дивногорск
Александрович в сообщении #1493404 писал(а):
Какой доверительный интервал для ваших данных получился?
Данные возьмите из вашего начального поста.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:37 
Аватара пользователя


11/12/16
13195
уездный город Н

(Оффтоп)

Александрович в сообщении #1493438 писал(а):
Данные возьмите из вашего начального поста.

Не понимаю, что Вы от меня хотите.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 14:44 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Применительно к задаче по ссылке расчёт доверительного интервала неадекватен. Это задача на таблицы сопряжённости, и для неё легко показать значимое различие на уровне p<0.0001.
Доверительные интервалы имеет смысл рассчитывать отдельно для вероятностей заболеть. Если брать интервалы шириной 1.96 сигм (97.5% квантиль, 95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы (использовано арксин-преобразование):
1. Привитые
n=16000, m=5, 0.0311%<p<0.0314%
2. Непривитые
n=4000, m=15, 0.3735%<p<0.3765%

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 15:18 
Аватара пользователя


21/01/09
3923
Дивногорск
Александрович в сообщении #1493438 писал(а):
Александрович в сообщении #1493404 писал(а):
Какой доверительный интервал для ваших данных получился?
Данные возьмите из вашего начального поста.

EUgeneUS в сообщении #1493440 писал(а):
Не понимаю, что Вы от меня хотите.

Вот ваш начальный пост:
EUgeneUS в сообщении #1493302 писал(а):
Размер выборки $n=16000$, количество успехов $m=5$
Надо найти доверительный интервал для оценки $p$ - вероятности успеха.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 40 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Vladimir Pliassov


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group