2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 17:16 
Аватара пользователя


11/12/16
13195
уездный город Н
Александрович
к сожалению, так и не понял, что именно от меня требуется.
Но вот картинка с таблицей, где все промежуточные выкладки (надо кликнуть на картинку с предпросмотром).
Изображение

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение20.11.2020, 23:11 
Заслуженный участник
Аватара пользователя


22/06/12
2129
/dev/zero
Евгений Машеров в сообщении #1493382 писал(а):
Это Вы, похоже, другую задачу ставите. Байесовского оценивания. А в обычной постановке величина p неизвестна, но предполагается не случайной, а детерминированной.

Ну сама величина $p$ неизвестна, детерминирована, а оценка её $\overline{p}$ будет с каждой выборки разной получаться, у неё будет распределение и т. д.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение21.11.2020, 18:14 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Как раз на днях объясняла эту тему студентам. Посмотрела, как это описано в методичке. Сначала описан приближенный метод через нормальное распределение. Потом более точный
Цитата:
Пусть, $T$ – число успешных реализаций исследуемого события. Известно, что $T$ распределено по биномиальному закону с параметрами $(n, p)$: $P_p(T < t )= Bin(t|n,p)$ , где $p$ – вероятность этого события при однократном наблюдении. Это распределение убывает с ростом $p$. Поэтому, если $t$ – экспериментальное значение статистики $T$, то
а) нижняя ($1-\alpha$)-доверительная граница $\underline{p}$ для вероятности успеха $p$ есть решение уравнения $Bin(t|n,\underline{p})=1-\alpha$;
б) верхняя ($1-\alpha$)-доверительная граница $\overline{p}$ для вероятности успеха $p$ есть решение уравнения $Bin(t|n,\overline{p})=\alpha$.
Это для односторонних интервалов. Соотв. для двустороннего берут те же границы с половинным альфа.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение21.11.2020, 19:50 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Как-то в методичке... эээ... методически странно. Логичнее сначала дать абстрактно верный, но затруднительный в реализации способ через истинное распределение, биномиальное, а потом разъяснить, в чём его практическое неудобство и как получить "малой кровью" приближённое решение (а если хватит места - упомянуть нормальзующее преобразование, арккосинус от корня квадратного).

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 00:44 
Аватара пользователя


11/12/16
13195
уездный город Н
provincialka
Спасибо!

К сожалению, как решить уравнение
provincialka в сообщении #1493599 писал(а):
$Bin(t|n,\overline{p})=\alpha$.

средствами Excel не нашел :-( Но построил для некоторых вариантов подробны таблицы значений $Bin(t|n,p)$ и посмотрел насколько врет приближенная формула из стартового поста.
Получилось, что для нескольких десятков случаев успеха приближенная формула работает хорошо, различия на уровне подробности таблицы значений, то есть до второго значащего знака как минимум. А вот для случаев успеха менее десятка - до двух десятков приближенная формула уже даёт заметные расхождения.

Так же по варьировал размеры групп и количество успехов - как это влияет на доверительные интервалы.

Оказалось, что для столько малых количеств успехов (десятки до полутора сотен случаев) увеличение групп от 1000 до 100000 мало влияет на доверительные интервалы.
А вот количества успехов - сильно.
При количестве успехов менее и около десяти с ДИ для трех сигм творится форменная беда.
При сорока случаях (суммарно по тестовой и контрольной группе) уже гораздо лучше, а при 100 и выше - и вовсе хорошо.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 01:02 
Аватара пользователя


21/01/09
3923
Дивногорск
EUgeneUS в сообщении #1493675 писал(а):
А вот для случаев успеха менее десятка - до двух десятков приближенная формула уже даёт заметные расхождения.

Где-то встречалось что находят доверительный интервал для нулевой частоты.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 05:12 
Аватара пользователя


21/01/09
3923
Дивногорск
Александрович в сообщении #1493677 писал(а):
доверительный интервал для нулевой частоты.

http://bioinformatics.ru/Data-Analysis/ ... imate.html

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 08:19 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Повторю.

Евгений Машеров в сообщении #1493443 писал(а):
Доверительные интервалы имеет смысл рассчитывать отдельно для вероятностей заболеть. Если брать интервалы шириной 1.96 сигм (97.5% квантиль, 95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы (использовано арксин-преобразование):
1. Привитые
n=16000, m=5, 0.0311%<p<0.0314%
2. Непривитые
n=4000, m=15, 0.3735%<p<0.3765%


Арксинус-преобразование очень сильно расширяет применимость нормального приближения.

Что до решения уравнения с биномиальным распределением - а функция "подбор значения" в Экселе не работает?

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 10:32 
Аватара пользователя


11/12/16
13195
уездный город Н
Евгений Машеров в сообщении #1493687 писал(а):
Повторю.


Спасибо!
Моя вина - как я мог пропустить Ваше сообщение :-( :facepalm:

Как видно, приближенная формула даёт сильно завышенный размер ДИ. Результаты приведенные выше (в таблице и в тексте) нужно считать неверными.

Евгений Машеров в сообщении #1493443 писал(а):
Это задача на таблицы сопряжённости,

Правильно ли я понимаю, что
а) сопряженным распределением является бета-распределение
б)$p$ имеет распределение $Beta(n, m-n)$

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 11:48 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Таблицы сопряжённости не используют понятия "сопряжённое распределение". В данном случае может быть распределение $\chi^2$ или, для частного случая 2х2, использовать точный тест Фишера и в нём гипергеометрическое распределение. Неполная $\beta$-функция появляетсся, как альтернативный суммированию способ вычисления функции распределения для биномиального закона.
$F(k;n,p)=\Pr(X\leq k)=\sum _{i=0}^{\lfloor k\rfloor }{n \choose i}p^{i}(1-p)^{n-i}&=I_{1-p}(n-k,k+1)&=(n-k){n \choose k}\int _{0}^{1-p}t^{n-k-1}(1-t)^k dt$
Да, и чтобы два раза не вставать. p распределения не имеет. Это не случайная величина.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 12:08 
Заслуженный участник
Аватара пользователя


18/01/13
12044
Казань
Евгений Машеров в сообщении #1493687 писал(а):
а функция "подбор значения" в Экселе не работает?

У нас она давала 2-3 верных цифры. Что, впрочем, вполне достаточно, мне кажется.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 12:20 
Аватара пользователя


11/12/16
13195
уездный город Н
provincialka в сообщении #1493711 писал(а):
У нас она давала 2-3 верных цифры. Что, впрочем, вполне достаточно, мне кажется.

У меня отказалась работать. Может как-то плохо приготовил.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 17:21 
Аватара пользователя


11/12/16
13195
уездный город Н
Евгений Машеров в сообщении #1493708 писал(а):
Да, и чтобы два раза не вставать. p распределения не имеет.

Да, с терминологией я поплыл. :-(

Предлагается использовать следующее:
1. Для биномиального распределения функция распределения:
$Bin(k|n,p) = I_{1-p}(n-k, k+1)$

2. Заметим, что для бета-распределения функция распределения:
$Beta(x|\alpha,\beta) = I_{x}(\alpha, \beta)$

3. Тогда точными решениями уравнений:
$Bin(k|n,\underline{p})=1-\delta$ (1)
$Bin(k|n,\overline{p})=\delta$ (2)

Будет:
$\underline{p} = 1- Beta^{-1}(1-\delta|n-k, k+1)$ для (1)
$\overline{p} = 1- Beta^{-1}(\delta|n-k, k+1)$ для (2)

4. При этом $Beta^{-1}(\delta|n-k, k+1)$ можем не рассматривать, как функцию обратную функции распределения какой-либо случайной величины. Это просто некая функция, которая есть в Excel'е.

(Оффтоп)

это как-то связано с Сопряжённым априорным распределением в байесовской статистике. Но туда предлагаю не погружаться.

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 19:40 
Аватара пользователя


11/12/16
13195
уездный город Н
Пересчитал так, как написано в предыдущем посте.
Результаты на картинке.
Изображение

Имеются нескладушки с результатами уважаемого Евгений Машеров :-(

У меня в этот раз получилось так (на рисунке строка выделена оранжевом цветом):
Если брать интервалы для 97.5% квантиля (95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы:
1. Привитые
n=16000, m=5, 0.0138%<p<0.0729%
2. Непривитые
n=4000, m=15, 0.2288%<p<0.6178%

 Профиль  
                  
 
 Re: Дов. интервал для p в биномиальном распределении. Снова
Сообщение22.11.2020, 21:44 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Что-то мне кажется, что слишком широкие вышли. Попробую завтра пересчитать. Пока нет настроения искать ошибку.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 40 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: mihaild


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group