Распределение Пуассона и нормальный закон

[StaticZero]

Пусть есть радиоактивный элемент и наблюдается количество распадов, зарегистрированных за время $t$ идеальным счётчиком. Положим, что для наблюдаемого процесса распада описание распределением Пуассона точно: вероятность зарегистрировать $k$ распадов за указанное время равна

$$ \mathbb P \left(X = k \right) = \dfrac{\overline k^k}{k!} e^{-\overline k}, \qquad \overline k = \dot nt, $$

где $\dot n$ — средняя скорость счёта. Если экспозиция такова, что $\overline k \gg 1$, то распределение Пуассона почти совпадает с нормальным распределением $\mathcal N(\overline k, \overline k)$.

Попробую суть проблемы пояснить на примере. Была выставлена экспозиция, при которой для данной толщины фильтра были зарегистрированы следующие значения импульсов счётчика: 4002, 3898. Для расчёта доверительного интервала используем такое утверждение:

$$ \sqrt{n - 1} \dfrac{\langle X \rangle - \overline k}{S} \sim t_{n-1}, \eqno{(^*)} $$

где $\langle \cdot \rangle$ — выборочное среднее.

Несмещённое стандартное отклонение по выборке $S \approx 73{,}54$. На уровне доверия 95% доверительный интервал имеет вид $3950 \pm 661$. Такая погрешность неудовлетворительна. На уровне доверия 70% доверительный интервал имеет вид $3950 \pm 102$, что уже достаточно, но хочется побольше сделать уровень доверия.

Для этого хотим использовать знание о том, что радиоактивный распад с хорошей точностью пуассоновский таким образом: используем утверждение

$$ \sqrt n \dfrac{\langle X \rangle - \overline k}{\sigma} \sim \mathcal N(0, 1) \eqno {(^{**})} $$

и прикинемся, что мы знаем дисперсию $\sigma$, оценив её корнем из среднего по выборке $\sqrt{ \langle X \rangle}$. В таком случае получаем уже картину более радостную: на уровне доверия 95% имеем интервал $3950 \pm 87$, на уровне доверия 70% он будет уже $3950 \pm 46$.

Однако, соотношения $(^*)$ и $(^{**})$ выполняются строго лишь для нормальных выборок, причём в первом соотношении нестрогость вносится лишь пуассоновским характером выборки, который при $\overline k \gg 1$ очень похож на нормальный (поэтому можно надеяться, что доверительный интервал обоснован). Во втором же соотношении нестрогость вносится два раза: один раз из-за выборки и второй раз из-за замены $\sigma$ на $\sqrt{ \langle X \rangle }$, относительно которой уже нет оснований (нельзя, например, опереться на закон больших чисел, ибо выборка мала) заявить, что она не вносит сильных искажений.

Как же всё-таки быть? Расчёт по первому варианту выглядит более обоснованным, но даёт слишком длинные доверительные интервалы, а расчёт по второму даёт хорошие интервалы и к тому же использует дополнительную информацию, которую мы имеем из природы эксперимента, но при этом кажется менее обоснованным. Есть ли способ узнать, сильно ли мы ошибаемся в доверительном интервале при замене $\sigma \to \sqrt{ \langle X \rangle }$?

[Geen]

StaticZero в сообщении #1294302 писал(а):

Такая погрешность неудовлетворительна.

А что же Вы хотите от двух измерений?

[StaticZero]

Geen в сообщении #1294326 писал(а):

А что же Вы хотите от двух измерений?

Ну тут оказалось, что если посчитать чуть по-другому, то она становится ещё как удовлетворительной.

[Geen]

StaticZero в сообщении #1294302 писал(а):

Есть ли способ узнать, сильно ли мы ошибаемся

Проведите численный эксперимент.

[StaticZero]

Geen в сообщении #1294330 писал(а):

Проведите численный эксперимент.

Пытаюсь сообразить, как его поставить.

Пока соображение такое: возьмём много выборок длины 2 из реализации величины, распределённой по Пуассону с параметром $\lambda$: $\mathbf X_n = (x_{n1}, x_{n2})$. Для каждой выборки определяем среднее $\langle \mathbf X_n \rangle = c_n$. Потом организуем величину, реализации которой получим по формуле $\sqrt n \dfrac{x_{ik} - c_n}{\sqrt{\lambda}} = a_{ik}$, перебрав все сгенерированные числа $1 \leqslant i \leqslant n$ и $k = 1, 2$. Организуем рядом другую величину $\sqrt n \dfrac{x_{ik} - c_n}{\sqrt{c_n}} = b_{ik}$, перебор такой же.

Потом обе величины $a$ и $b$ будем каким-то образом тестировать на разумность предположения о том, что они имеют закон распределения $\mathcal N(0, 1)$ через их реализации при уровне доверия, совпадающем с уровнем доверия, используемом для желаемого доверительного интервала. Я правильно понял ваше предложение?

[Geen]

StaticZero в сообщении #1294409 писал(а):

Потом обе величины $a$ и $b$ будем каким-то образом тестировать на разумность предположения

Зачем? Вы просто будете иметь распределение этих величин и из него найдёте интервалы.

[Евгений Машеров]

Ответ у Вас получился разный, потому, что Вы решали задачу на основе разного объёма информации. Помимо численных значений для двух измерений, во втором случае Вы привлекли очень основательную информацию о том, что величина распределена по закону Пуассона. Нормальное распределение имеет два параметра - матожидание и дисперсию, пуассоновское - один, лямбда, и Вы пытаетесь оценить по двум наблюдениям в первом случае два параметра или, во втором случае, один. Разумеется, эта дополнительная информация вдвое увеличивает количество информации в расчёте на один рассчитанный параметр и, соответственно, повышает точность его.
При этом расчёт на основании столь малой выборки даст очень широкие доверительные интервалы. В том числе потому, что распределение Стьюдента с одной степенью свободы (и вообще, с числом степеней свободы 4 и менее) имеет бесконечный эксцесс, то есть "очень тяжёлые хвосты".
Проверить по данной выборке, что это распределение Пуассона, возможным не представляется. В данном случае надо либо научиться регистрировать на коротких интервалах и воспользоваться критерием, скажем $\chi^2$ для числа попаданий в интервалы, взяв их с десяток и более, либо доказать принадлежность к Пуассону не из статистических наблюдений, а из физических соображений (ну, или постулировать - "Постулирование имеет явные преимущества перед любыми другими методами научного исследования, те же, что у воровства перед честным трудом" - Б.Рассел). Проверить можно, что параметры распределения одинаковы для обоих Ваших измерений. Поскольку число импульсов велико, нормальная аппроксимация должна быть работающей, и можно сравнивать, как средние двух независимых выборок с известной оценкой дисперсии. Гипотеза о равенстве не отвергается.
Если имеется уверенность в Пуассоне и в неизменности его лямбды, два изменения стоит объединить, и оценивать $4002+3898=7902$ импульсов, полученных за время $2\tau$

[StaticZero]

Взял сто выборок длины 2 из реализации величины, распределённой по Пуассону с параметром $\lambda = 2000$: $\mathbf X_n = (x_{n1}, x_{n2})$. Для каждой выборки определил среднее $\langle \mathbf X_n \rangle = c_n$. Для каждого значения $c_n$ вычислил величину $\sqrt 2 \dfrac{x_{ik} - c_n}{\sqrt{c_n}}$ (здесь $x_{ik}$ пробегает все 200 сгенерированных чисел, $c_n$ пробегает все сто выборок).

В итоге получил 20 000 величин и прогнал их через хи-квадрат критерий с нулевой гипотезой, утверждающей, что вся выборка получена от стандартно распределённой случайной величины. Критерий был успешно провален (значение статистики на три порядка превосходит критическое на уровне значимости 0,1%). Среднее по этой большой выборке равно ~0,0047.

Гистограмма частот такая, как на рис.


-- 26.02.2018, 22:58 --

Для $\lambda = 7000$ те же объёмы выборок дают гистограмму такую. Хи-квадрат по-прежнему проваливается с запасом в три порядка, стало быть, нормальным распределением тут точно не пахнет (что в принципе по гистограмме неплохо видно).



-- 26.02.2018, 23:18 --

Ну и вдобавок к этому при увеличении объёма длины выборки до 3 хвосты испортились и потяжелели. Вообще, распределение какое-то приплюснутое.

Geen в сообщении #1294410 писал(а):

Зачем? Вы просто будете иметь распределение этих величин и из него найдёте интервалы.

Эмпирическое имеете ввиду?

[Евгений Машеров]

Не понял смысла данной манипуляции.

[StaticZero]

Евгений Машеров в сообщении #1294586 писал(а):

Не понял смысла данной манипуляции.

Проверка соответствия распределения величины $\sqrt n \dfrac{X - \langle X \rangle}{\sqrt{\langle X \rangle}}$ распределению $\mathcal N(0, 1)$, как было предположено.

[Евгений Машеров]

Вы проверяете что-то иное, если проверяете вообще.

[StaticZero]

Евгений Машеров в сообщении #1294589 писал(а):

Вы проверяете что-то иное, если проверяете вообще.

Процедура получения выборки неправильная, имеете ввиду?

[Евгений Машеров]

0. Вы всерьёз надеетесь получить осмысленный доверительный интервал по двум наблюдениям?
1. В проверке принадлежности к распределению предполагается независимость величин. У Вас исходные иксы, по всей видимости, независимы, но Ваше преобразование даёт набор дико коррелированных величин.

[StaticZero]

Евгений Машеров в сообщении #1294593 писал(а):

Вы всерьёз надеетесь получить осмысленный доверительный интервал по двум наблюдениям?

Его всерьёз предлагают получать в учебной лаборатории, что удручает.

Евгений Машеров в сообщении #1294593 писал(а):

но Ваше преобразование даёт набор дико коррелированных величин.

Хорошо бы это проверить самостоятельно, но, может быть, потом. Поверю на слово. В таком случае какой численный эксперимент имеет ввиду Geen, мне вообще не понятно, и стартовый вопрос остаётся открытым:

StaticZero в сообщении #1294302 писал(а):

Есть ли способ узнать, сильно ли мы ошибаемся в доверительном интервале при замене $\sigma \to \sqrt{ \langle X \rangle }$?

[Geen]

StaticZero в сообщении #1294596 писал(а):

Хорошо бы это проверить самостоятельно, но

Вы из 200 с.в. делаете в сто раз больше "значений" - понятно без проверок, что они, мягко говоря, не будут независимыми....

StaticZero в сообщении #1294596 писал(а):

В таком случае какой численный эксперимент имеет ввиду Geen

Ну если хотите 20000 "значений" (боюсь употреблять слово статистика), то надо сгенерировать 40000 с.в., разбить их на пары и т.д. Главное, что каждая сгенерированная с.в. используется не более одного раза.

StaticZero в сообщении #1294587 писал(а):

Проверка соответствия распределения величины $\sqrt n \dfrac{X - \langle X \rangle}{\sqrt{\langle X \rangle}}$

Какой случайной величины??
Посмотрите, хотя бы, https://ru.wikipedia.org/wiki/Доверительный_интервал_для_математического_ожидания_нормальной_выборки