Дов. интервал для p в биномиальном распределении. Снова

[EUgeneUS]

Александрович
к сожалению, так и не понял, что именно от меня требуется.
Но вот картинка с таблицей, где все промежуточные выкладки (надо кликнуть на картинку с предпросмотром).

[StaticZero]

Евгений Машеров в сообщении #1493382 писал(а):

Это Вы, похоже, другую задачу ставите. Байесовского оценивания. А в обычной постановке величина p неизвестна, но предполагается не случайной, а детерминированной.

Ну сама величина $p$ неизвестна, детерминирована, а оценка её $\overline{p}$ будет с каждой выборки разной получаться, у неё будет распределение и т. д.

[provincialka]

Как раз на днях объясняла эту тему студентам. Посмотрела, как это описано в методичке. Сначала описан приближенный метод через нормальное распределение. Потом более точный

Цитата:

Пусть, $T$ – число успешных реализаций исследуемого события. Известно, что $T$ распределено по биномиальному закону с параметрами $(n, p)$: $P_p(T < t )= Bin(t|n,p)$ , где $p$ – вероятность этого события при однократном наблюдении. Это распределение убывает с ростом $p$. Поэтому, если $t$ – экспериментальное значение статистики $T$, то
а) нижняя ($1-\alpha$)-доверительная граница $\underline{p}$ для вероятности успеха $p$ есть решение уравнения $Bin(t|n,\underline{p})=1-\alpha$;
б) верхняя ($1-\alpha$)-доверительная граница $\overline{p}$ для вероятности успеха $p$ есть решение уравнения $Bin(t|n,\overline{p})=\alpha$.

Это для односторонних интервалов. Соотв. для двустороннего берут те же границы с половинным альфа.

[Евгений Машеров]

Как-то в методичке... эээ... методически странно. Логичнее сначала дать абстрактно верный, но затруднительный в реализации способ через истинное распределение, биномиальное, а потом разъяснить, в чём его практическое неудобство и как получить "малой кровью" приближённое решение (а если хватит места - упомянуть нормальзующее преобразование, арккосинус от корня квадратного).

[EUgeneUS]

provincialka
Спасибо!

К сожалению, как решить уравнение

provincialka в сообщении #1493599 писал(а):

$Bin(t|n,\overline{p})=\alpha$.

средствами Excel не нашел Но построил для некоторых вариантов подробны таблицы значений $Bin(t|n,p)$ и посмотрел насколько врет приближенная формула из стартового поста.
Получилось, что для нескольких десятков случаев успеха приближенная формула работает хорошо, различия на уровне подробности таблицы значений, то есть до второго значащего знака как минимум. А вот для случаев успеха менее десятка - до двух десятков приближенная формула уже даёт заметные расхождения.

Так же по варьировал размеры групп и количество успехов - как это влияет на доверительные интервалы.

Оказалось, что для столько малых количеств успехов (десятки до полутора сотен случаев) увеличение групп от 1000 до 100000 мало влияет на доверительные интервалы.
А вот количества успехов - сильно.
При количестве успехов менее и около десяти с ДИ для трех сигм творится форменная беда.
При сорока случаях (суммарно по тестовой и контрольной группе) уже гораздо лучше, а при 100 и выше - и вовсе хорошо.

[Александрович]

EUgeneUS в сообщении #1493675 писал(а):

А вот для случаев успеха менее десятка - до двух десятков приближенная формула уже даёт заметные расхождения.

Где-то встречалось что находят доверительный интервал для нулевой частоты.

[Александрович]

Александрович в сообщении #1493677 писал(а):

доверительный интервал для нулевой частоты.

http://bioinformatics.ru/Data-Analysis/ ... imate.html

[Евгений Машеров]

Повторю.

Евгений Машеров в сообщении #1493443 писал(а):

Доверительные интервалы имеет смысл рассчитывать отдельно для вероятностей заболеть. Если брать интервалы шириной 1.96 сигм (97.5% квантиль, 95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы (использовано арксин-преобразование):
1. Привитые
n=16000, m=5, 0.0311%<p<0.0314%
2. Непривитые
n=4000, m=15, 0.3735%<p<0.3765%

Арксинус-преобразование очень сильно расширяет применимость нормального приближения.

Что до решения уравнения с биномиальным распределением - а функция "подбор значения" в Экселе не работает?

[EUgeneUS]

Евгений Машеров в сообщении #1493687 писал(а):

Повторю.

Спасибо!
Моя вина - как я мог пропустить Ваше сообщение

Как видно, приближенная формула даёт сильно завышенный размер ДИ. Результаты приведенные выше (в таблице и в тексте) нужно считать неверными.

Евгений Машеров в сообщении #1493443 писал(а):

Это задача на таблицы сопряжённости,

Правильно ли я понимаю, что
а) сопряженным распределением является бета-распределение
б)$p$ имеет распределение $Beta(n, m-n)$

[Евгений Машеров]

Таблицы сопряжённости не используют понятия "сопряжённое распределение". В данном случае может быть распределение $\chi^2$ или, для частного случая 2х2, использовать точный тест Фишера и в нём гипергеометрическое распределение. Неполная $\beta$-функция появляетсся, как альтернативный суммированию способ вычисления функции распределения для биномиального закона.
$F(k;n,p)=\Pr(X\leq k)=\sum _{i=0}^{\lfloor k\rfloor }{n \choose i}p^{i}(1-p)^{n-i}&=I_{1-p}(n-k,k+1)&=(n-k){n \choose k}\int _{0}^{1-p}t^{n-k-1}(1-t)^k dt$
Да, и чтобы два раза не вставать. p распределения не имеет. Это не случайная величина.

[provincialka]

Евгений Машеров в сообщении #1493687 писал(а):

а функция "подбор значения" в Экселе не работает?

У нас она давала 2-3 верных цифры. Что, впрочем, вполне достаточно, мне кажется.

[EUgeneUS]

provincialka в сообщении #1493711 писал(а):

У нас она давала 2-3 верных цифры. Что, впрочем, вполне достаточно, мне кажется.

У меня отказалась работать. Может как-то плохо приготовил.

[EUgeneUS]

Евгений Машеров в сообщении #1493708 писал(а):

Да, и чтобы два раза не вставать. p распределения не имеет.

Да, с терминологией я поплыл.

Предлагается использовать следующее:
1. Для биномиального распределения функция распределения:
$Bin(k|n,p) = I_{1-p}(n-k, k+1)$

2. Заметим, что для бета-распределения функция распределения:
$Beta(x|\alpha,\beta) = I_{x}(\alpha, \beta)$

3. Тогда точными решениями уравнений:
$Bin(k|n,\underline{p})=1-\delta$ (1)
$Bin(k|n,\overline{p})=\delta$ (2)

Будет:
$\underline{p} = 1- Beta^{-1}(1-\delta|n-k, k+1)$ для (1)
$\overline{p} = 1- Beta^{-1}(\delta|n-k, k+1)$ для (2)

4. При этом $Beta^{-1}(\delta|n-k, k+1)$ можем не рассматривать, как функцию обратную функции распределения какой-либо случайной величины. Это просто некая функция, которая есть в Excel'е.

(Оффтоп)

это как-то связано с Сопряжённым априорным распределением в байесовской статистике. Но туда предлагаю не погружаться.

[EUgeneUS]

Пересчитал так, как написано в предыдущем посте.
Результаты на картинке.


Имеются нескладушки с результатами уважаемого Евгений Машеров

У меня в этот раз получилось так (на рисунке строка выделена оранжевом цветом):
Если брать интервалы для 97.5% квантиля (95% вероятность попадания в интервал), то для приведенных данных доверительные интервалы для вероятностей таковы:
1. Привитые
n=16000, m=5, 0.0138%<p<0.0729%
2. Непривитые
n=4000, m=15, 0.2288%<p<0.6178%

[Евгений Машеров]

Что-то мне кажется, что слишком широкие вышли. Попробую завтра пересчитать. Пока нет настроения искать ошибку.