Пуассоновское распределение - доверительный интервал

[Bridgeport]

Любопытный факт.

Мы пронаблюдали количество покупателей для магазина А. В первый день - 10 покупателей, во второй - 10 покупателей, в третий - 10 покупателей.

Мы также пронаблюдали количество покупателей для магазина Б, но здесь мы наблюдали всего один день и тогда пришло 10 покупателей.

Любопытно, что доверительный интервал для Пуассовновской лямбды будет один и тот же в обоих случаях.

Для меня это немного противоречиво, так для магазина А у нас больше наблюдений. А вам не кажется это противоречивым?

[DeBill]

Bridgeport в сообщении #1129521 писал(а):

будет один и тот же в обоих случаях.

Это очень странно. У меня получаются - разные, в первом случае - короче.
Не могли бы Вы сказать, для какой доверительной вероятности считались интервалы? И - как?

[Bridgeport]

Мне пока не удалось проникнуть в тонкости вывода доверительно интервала.

Я полагался на "точный" метод и хи-квадратное приближение описанное вот здесь: http://onlinelibrary.wiley.com/doi/10.1 ... 350716/pdf

Confidence Intervals for the Mean of a Poisson Distribution :
A Review, by Hardeo Sahai and Anwer Khurshid.

А вы использовали нормальное приближение?

[DeBill]

Bridgeport
К сожалению, текст из статьи (кроме первой страницы) не читается: букву расплываются...
Для эмпирического среднего, в случае Пуассона, мы знаем ТОЧНОЕ его распределение. Исходя из него, можем строить различные точные доверительные интервалы. Дело это неблагодарное в силу дискретности его. При большом числе испытаний, это становится совсем трудным. Но, на самом деле - легким, потому как начинают работать предельные теоремы...
Боюсь, Вы использовали формулы из статьи как раз расчитанные на многократные испытания. Однако и $n=1$, и $n=3$ бесконечно далеки от бесконечности. Проблемы здесь ровно такие же как в примере $\sin (x) \sim x$ , при малых $x$. Однако пользоваться этой формулой при, например, $x=\pi$, некорректно.

[Parkhomuk]

Здравствуйте,
У меня похожая задача, поэтому пишу здесь, а не завожу новую тему.
У меня пуассоновский процесс, $X_i$ число событий в $i$-ый день, количество дней очень небольшое пусть будет $5$ для определенности.
Я хочу оценить среднее, интервалом, таким что: истинное среднее лежит в нем с вероятностью не менее $\alpha$.
Проблема в том, что я не соображу как это сделать когда дней уже больше одного.

[Евгений Машеров]

Для случая А
$6.746958007<\mu<14.2756218$
Для случая Б доверительный интервал
$4.795388696<\mu<18.39035604$

исправил описку

DeBill

Посмотрите здесь:
http://citeseerx.ist.psu.edu/viewdoc/do ... 1&type=pdf
Кстати, считать суммы (что при наличии хотя бы экселя совсем несложно) не обязательно, выражение через $\chi^2$ точное, а не аппроксимация, а обратная к хи-квадрату вполне доступна.
А главное - нет тут никаких повторных измерений. Оно тут одно. Давшее число успехов k за период. Что в первом, что во втором случае. Просто в первом случае дано число успехов за день, $k=10$, во втором за трёхдневный промежуток, $k=30$
И мы получаем (суммируя пуассончики, или выразим сумму через $\chi^2$, или даже аппроксимировав нормальным: что, собственно, ещё 30 лет назад имело смысл - таблицы нормального прилагались к любому учебнику, а хи-квадрат был не везде, а теперь смысл разве что спортивный) в первом случае доверительный интервал для $\mu$, а во втором для $3\mu$, перейти к мю от трёх мю упражнение по арифметике для третьего класса.
То, что у нас три дня наблюдений - либо эта информация излишня, либо наша модель ложна. Если у нас действительно мсье Дени - то никакой информации от знания того, как 30 наблюдений распределились по трём дням, мы не получим. А если в этом есть ценная информация, то либо распределение не Пуассона, либо Пуассона, только вот параметр не постоянен.


Bridgeport
Если совсем кратко - во втором случае Вы не доверительный интервал для трёх дней наблюдений нашли, а трижды посчитали доверительный интервал для каждого дня, а так как число успехов в каждый день из трёх принято одинаковым и равным числу в первых день - у Вас получились 3+1 одинаковых доверительных интервала.

(Оффтоп)

- Спасибо, Швейк,- сказал поручик.- Много у нее было желаний?
- Так, примерно, шесть,- отрапортовал Швейк.- Теперь она спит как убитая от этой езды. Я исполнил все ее желания, какие только смог прочесть в ее глазах.

[Parkhomuk]

Евгений Машеров, спасибо,
Идею Вашу понял, и на первый взгляд все логично, однако у меня остались некоторые сомнения: получается что границы доверительного интервала зависят только от суммы событий за все дни и не зависят от того как они распределены между различными днями (это, конечно, если я правильно Вас понял). В общем говоря, мне кажется, что 10+10+10 и 8+8+14 должно приводить к разным результатам, а получается что нет?

[Евгений Машеров]

Получается, что нет. См. "Достаточные статистики"
https://ru.wikipedia.org/wiki/%D0%94%D0 ... 0%BA%D0%B0

Знание различий между отдельными реализациями может быть важно, чтобы понять, что у нас не распределение Пуассона, или что по каждому дню Пуассон, но со своими значениями параметра. Но если Пуассон постулируется - важно общее количество "успехов".

[DeBill]

Евгений Машеров в сообщении #1497089 писал(а):

Посмотрите здесь:

Ух ты, не знал про такое...Единственная проблема: число степеней свободы теперь не фиксировано, придется по разным таблицам скакать. Но за все по жизни приходится платить, да...

[Евгений Машеров]

Задумался, зачем теперь нормальные аппроксимации, которым было в своё время уделено много внимания (появление упомянутых в цитированной выше статье аппроксимаций - 1936: $2\sqrt X$, 1948: $2\sqrt{X+\frac 3 8}$, 1950: $\sqrt X+\sqrt{X+1}$, 1952: $2\sqrt{X-0.5}$; тогда быстро скалькулировать $\chi^2$ нельзя было, впрочем, как и нормальное, но таблицы нормального были всегда под рукой, а на крайний случай критические значения помнились, а таблицы хи-квадрат не всегда могли оказаться рядом). Теперь пользы от них именно для обсуждаемой задачи нет, это приближённое решение при наличии точного и не более сложного.
Однако возможную нишу нашёл, как раз к вопросу: "А если у нас есть данные по каждому дню - как их использовать? Кроме как просто просуммировать и использовать лишь сумму, достаточную статистику?"
Если у нас имеется подозрение, что закон-то пуассоновский, а параметр ото дня ко дню меняется, можно попробовать нормализовать одним из преобразований, и затем сравнивать преобразованные значения методами для нормального распределения. Скажем, предположить, что у нас имеется дрейф параметра во времени - посчитать регрессию на время, или предположить, что параметр зависит от дня недели (скажем, число посетителей кафе, или число пациентов с травмой).