Дов. интервал для p в биномиальном распределении. Снова

[GAA]

EUgeneUS в сообщении #1493768 писал(а):

Пересчитал так, как написано в предыдущем посте.
n=4000, m=15, 0.2288%<p<0.6178%

У меня ещё шире получился:
n=4000, m=15, $0.002100 < p < 0.0061775$
(Расхождение на нижней границе. Считал по формулам из строй ветки.)

[EUgeneUS]

GAA в сообщении #472942 писал(а):

Границы доверительного интервала задаются соотношениями:
$1- F_{2(n-m+1), 2m} \left( \frac{2m}{2(n-m+1)} \frac{1-p_1}{p_1}\right) = \varepsilon/2$;
$F_{2(n-m), 2(m+1)} \left( \frac{2(m+1)}{2(n-m)}\frac{1-p_2}{p_2}\right) = \varepsilon/2$.

$Bin(k|n,p) = I_{1-p}(n-k,k+1)$
$F_{d_1,d_2}(x) = I_{\frac{d_1 x}{d_1 x + d_2}}(d_1/2, d_2/2)$

Откуда
$Bin(k|n,p) = F_{2(n-k),2(k+1)}(\frac{(1+k)(1-p)}{(n-k) p})$

Тогда нижняя граница ДИ будет:
$1- F_{2(n-k), 2(k+1)} \left( \frac{1+k}{n-k} \frac{1-p_1}{p_1}\right) = \varepsilon/2$

Нет?

[GAA]

Нет.
$1-Bin(k-1| n, p_1)= \varepsilon/2$

[EUgeneUS]

GAA в сообщении #1493833 писал(а):

Нет.
$1-Bin(k-1| n, p_1)= \varepsilon/2$

Это "не бьётся" с информацией "из методички".
Как правильно, я не знаю. Кому верить - тоже

(Оффтоп)

Раз пошли перекрестные ссылки на темы. Наверное, имеет смысл их объединить

[Xaositect]

R выдает такие 97.5% интервалы, построенные по точному биномиальному распределению:
m = 15, n = 4000: от 0.1922% до 0.6558%
m = 5, n = 16000: от 0.00846% до 0.07976%

[EUgeneUS]

Xaositect в сообщении #1493852 писал(а):

R выдает такие 97.5% интервалы, построенные по точному биномиальному распределению:

Выше для проверки считался 95% ДИ.
Но я проверил, как у меня получается для 97.5%. Опять верхняя граница совпала точно, а нижняя завышена (у меня). Вывод однозначный: уточнение уважаемого GAA нужно принять, и исправить в таблице.

Сделаю несколько позже.

[GAA]

EUgeneUS в сообщении #1493835 писал(а):

Это "не бьётся" с информацией "из методички".

А текст сообщения, на которое Вы привели ссылку, противоречит десятку учебников (см., помимо указанного в моём сообщении учебника Ивченко и Медведева, например, Лагутин М.Б. Наглядная математическая статистика, 2009 или Мятлев В.Д. Теория вероятностей и математическая статистика, 2009), многим статьям и заметкам в сети, например

Википедия в словарной статье Binomial proportion confidence interval писал(а):

The Clopper–Pearson interval
The Clopper–Pearson interval is an early and very common method for calculating binomial confidence intervals.This is often called an 'exact' method, because it is based on the cumulative probabilities of the binomial distribution (i.e., exactly the correct distribution rather than an approximation). However, in cases where we know the population size, the intervals may not be the smallest possible. For instance, for a population of size 20 with true proportion of 50%, Clopper–Pearson gives [0.272, 0.728], which has width 0.456 (and where bounds are 0.0280 away from the "next achievable values" of 6/20 and 14/20); whereas Wilson's gives [0.299, 0.701], which has width 0.401 (and is 0.0007 away from the next achievable values).
<…>
Because of a relationship between the binomial distribution and the beta distribution, the Clopper–Pearson interval is sometimes presented in an alternate format that uses quantiles from the beta distribution.
$B\left(\frac{\alpha}{2}; x, n - x + 1\right) < \theta < B\left(1 - \frac{\alpha}{2}; x + 1, n - x\right)$
where $x$ is the number of successes, $n$ is the number of trials, and $B(p; v,w) is the ''p''th quantile from a beta distribution with shape parameters $v$ and $w$.

-- Mon 23.11.2020 14:28:01 --

EUgeneUS в сообщении #1493835 писал(а):

Кому верить - тоже

Это же не форум верующих в математику. Очевидно нужно смотреть вывод в учебнике, а если есть затруднения, то задавать конкретные вопросы. Возможно Вам ответят.

[EUgeneUS]

GAA
Спасибо!

Пересчитал с исправлением для нижней границы:



По Спутник V - два варианта по одному и тому же пресс-релизу с разными "раскладками" по группам (оказалось их нельзя точно восстановить).
По Пфайзеру - по двум разным пресс-релизам.

[EUgeneUS]

Статья в англо-вики по теме.
Как-то сначала её пропустил...
Удобна тем, что перечислены различные способы подсчёта ДИ.

[EUgeneUS]

Появилась пара вопросов

1. Вот что пишут в англовики (ссылка указана в прошлом посте)

Цитата:

The Clopper–Pearson interval is an exact interval since it is based directly on the binomial distribution rather than any approximation to the binomial distribution. This interval never has less than the nominal coverage for any population proportion, but that means that it is usually conservative. For example, the true coverage rate of a 95% Clopper–Pearson interval may be well above 95%, depending on n and θ.[3] Thus the interval may be wider than it needs to be to achieve 95% confidence.

Мне не очень понятно, как этот интервал может быть шире, чем требуется для достижения 95% достоверности, если он точный?
Поясните, пожалуйста, кто может.

2. В другой статье
Нашел такое

Цитата:

Ratio of two binomial distributions
This result was first derived by Katz and coauthors in 1978.[19]
Let $X ~ B(n,p_1)$ and $Y ~ B(m,p_2)$ be independent. $Let T = (X/n)/(Y/m)$.
Then $\log(T)$ is approximately normally distributed with mean $\log(p_1/p_2)$ and variance $((1/p_1) − 1)/n + ((1/p_2) − 1)/m$.

С учетом того, что переход от ДИ для оценки вероятностей двух биномиальных распределений к ДИ их отношения, как описано в пункте 1 стартового поста, вызывает сомнения.
То этот метод выглядит, как доктор прописал.
Однако он - приближенный, а значит может иметь ограничение по применимости.
Ссылка указана: Katz, D.; et al. (1978). "Obtaining confidence intervals for the risk ratio in cohort studies". Biometrics. 34 (3): 469–474. doi:10.2307/2530610. JSTOR 2530610.
Есть ли у кого-то возможность скачать статью?