Затмения и смертность

[Doctor Boom]

Задача навеяна темой, я решил ее подробно рассмотреть и формализовать. Собственно, пусть затмения происходят с определенным периодом и имеют определенную длительность. Пусть $P$-вероятность случайной смерти в затмение (она равна отношению продолжительности затмения к его периоду), $S_z$ - это вероятность того, что затмение вызовет смерть с вероятностью $z$ (т.е. затмение является причиной смерти с некоторой фиксированной вероятностью $z$, которая нам неизвестна, и мы вводим на ней вероятностное распределение, которое будет уточнять по Байесу)
Пусть априорное распределение на $S_z$ будет равноверояностным, или иметь пик где-то в районе 0.001 или 0.01, можно по разному выбирать. Тогда байесовский процесс уточнения вероятностей будет выглядеть так
Если человек умер в затмение (а множество людей пусть будут учителя в школе), то тогда вероятность обновится как
$S'_z=\frac{zS_z(1-p)+S_zp}{\sum_{z} zS_z(1-p)+p}$
А если остался жив, то как $S'_z=\frac{(1-z)S_z}{\sum_{z}(1-z)S_z}$
А вероятность того, что затмение послужило причиной смерти человека, будет равна $K=\frac{\sum_{z}zS_z}{p+(1-p)\sum_{z}zS_z}$
Насколько корректна предложенная модель?

[Евгений Машеров]

Байес инструмент мощный, но основной недостаток (и достоинство) это включение априорной информации. Если она обоснована (например, статистические наблюдения по другим выборкам) - это повышает точность, если взята "из головы" - понижает.
В данной конкретной задаче я бы использовал банальнейшие таблицы сопряжённости и критерий $\chi^2$, хотя здесь может оказаться очень малое число наблюдений в одной из ячеек, тогда можно точный критерий Фишера.

[mihaild]

Вроде бы правильная, но я бы предложил взять просто вероятность смерти во время затмения, если начинать с равномерного распределения - получится стандартная схема Лапласа.
А зная вероятность смерти во время затмения и $p$, можно уже легко вычислить вероятность смерти от затмения.

Евгений Машеров в сообщении #1630032 писал(а):

Если она обоснована (например, статистические наблюдения по другим выборкам) - это повышает точность, если взята "из головы" - понижает

Поскольку методов, не включающих априорную информацию, дающих ответ, не существует, то непонятно, как можно сравнивать с ними точность.

[Евгений Машеров]

mihaild в сообщении #1630062 писал(а):

Поскольку методов, не включающих априорную информацию, дающих ответ, не существует, то непонятно, как можно сравнивать с ними точность.

Не то, чтобы это было неверно в Высшем Философском Смысле, как минимум, надо быть уверенным, что существует то, что мы изучаем. Но я о куда более приземлённых вещах, об оценках априорных вероятностей. Если они получены из дополнительных наблюдений (как у артиллериста, получившего на полигоне распределение отклонений при первой выстреле, и затем Байесом выводящего правило "три перелёта, один недолёт - прицел меньше на 1 Вд"; или врача, располагающего статистикой болезней и статистикой встречаемости симптомов при каждой болезни), то апостериорные оценки становятся точнее. Если "установлены волевым решением" - можем и ухудшить.
Что до данной задачи - я бы начинал с "доматематической статистики". Постарался бы чётко определить, что понимается под "временем затмения" (время полной фазы, или время частичного затмения в данной точке, или время между первым касанием Земли тенью Луны и уходом тени с Земли, или день затмения целиком, и если последний вариант - то как считать его в разных по долготе точках). Ну и что считать датой смерти (инфаркт вчера, в кому впал сегодня, смерть констатируют завтра). Без такого определения можно будет "подгонять под ответ". Затем собирать данные о смерти по датам (да, и кого? тут тоже может быть подгонка; скажем, мы предполагаем, что композиторы умирают при солнечных затмениях чаще, исходя из сообщений, что несколько композиторов умерли в день затмения, и начинаем перебирать затмения, в каждое из которых отыскивая умершего композитора, засчитывая и любителя, баловавшегося композицией, и студента консерватории, за 228 дней затмений ХХ века перебрать можно; но вот оставшиеся $36524-228=36296$ дней - разве что проверим, кто в эти дни умер из перечисленных в энциклопедии)
И проверяем гипотезу о равенстве пропорций.

[mihaild]

Евгений Машеров в сообщении #1630082 писал(а):

, то апостериорные оценки становятся точнее. Если "установлены волевым решением" - можем и ухудшить

Точнее или хуже чем что?

Евгений Машеров в сообщении #1630082 писал(а):

Без такого определения можно будет "подгонять под ответ".

Это проблема ортогональна вопросу приоров.

Евгений Машеров в сообщении #1630082 писал(а):

И проверяем гипотезу о равенстве пропорций

Статистическими тестами? И получаем число "если равны, то вероятность получить такое или большее отклонение такая-то". Чтобы из этого числа получить "вероятность того, что затмения влияют на смертность с такой-то силой", как раз и нужны приоры.

[Doctor Boom]

Евгений Машеров в сообщении #1630032 писал(а):

если взята "из головы" - понижает.

Может понизить при небольшой выборке (и соответствующем числе уточнений). Если выборка большая, то изначальный приор уже особо не влияет (если он не 0 или 1 конечно). Чтобы выбрать наиболее естественный приор "из головы" надо положить вероятности нестандартных событий малыми (там могут быть тонкости, насколько малыми). Хотя некоторые предлагают брать все с равными весами. В любом случае, можно взять много разных приоров, и посмотреть совпадение результатов

[ipgmvq]

Если отойти от Байеса, это можно смоделировать пуассоновским процессом.
Мы можем объединить все периоды затмения (общей продолжительностью $t_1$) в единый период времени, и все периоды вне затмения (общей продолжительностью $t_2$) в другой единый период времени, где $\lambda_1(t)$ и $\lambda_2(t)$ это плотности вероятности по времени для наступления смерти. Если мы примем, что $\lambda_1(t)$ и $\lambda_2(t)$ константы, нас будет интересовать отношение $\frac{\lambda_1}{\lambda_2}$. Обозначим его $\eta$ и выразим $\lambda_1 = \eta\lambda_2$.
Если за период времени $t_1$, у нас было $n$ смертей, а в период времени $t_2$ было $m$ смертей, вероятность этого события будет составлять $e^{-\eta \lambda_2 t_1 -\lambda_2 t_2}\frac{(\eta\lambda_2 t_1)^n (\lambda_2 t_2)^m}{n! m!}$
Методом наибольшего правдоподобия найдем максимум через логарифм и частные производные логарифма этой функции:
$L = \ln(e^{-\eta \lambda_2 t_1 -\lambda_2 t_2}\frac{(\eta\lambda_2 t_1)^n (\lambda_2 t_2)^m}{n! m!}) =$
$= -\eta \lambda_2 t_1 -\lambda_2 t_2 + n \ln \eta + n \ln \lambda_2 + n \ln t_1 + m \ln \lambda_2 + m \ln t_2 - \ln(n!) - \ln(m!)$
$\frac{\partial L}{\partial \eta} = \frac{n}{\eta} - \lambda_2 t_1$
$\frac{\partial L}{\partial \lambda_2} = \frac{n + m}{\lambda_2} -\eta t_1 - t_2$
Приравниваем нулю.
$\frac{n}{\eta} = \lambda_2 t_1$
$\lambda_2 = \frac{n}{\eta t_1}$
$\frac{n + m}{\lambda_2} -\eta t_1 - t_2 = 0$
$\frac{(n + m) \eta t_1}{n} -\eta t_1 - t_2 = 0$
$(1 + \frac{m}{n} - 1) \eta t_1 = t_2$
$ \eta = \frac{t_2}{t_1} \frac{n}{m}$
Для рассчета доверительного интервала берем вторую производную по $\eta$
$\frac{\partial^2 L}{\partial \eta^2} = - \frac{n}{\eta^2} $
Очевидно мы должны иметь хотя бы одну смерть во время затмения.
Соответственно стандартное отклонение доверительного интервала будет $\frac{\eta}{\sqrt{n}} = \frac{t_2}{t_1} \frac{\sqrt{n}}{m}$
Таким образом, если у нас есть наблюдение за два года, в котором случилось три затмения общей длительностью 6 часов (8754 часа без затмения), и за этот период умеро 9 человек, а в период без затмения умерло 12000 человек, то скорее всего $ \eta = \frac{t_2}{t_1} \frac{n}{m} = \frac{8754}{6} \frac{9}{12000} \pm 1.96 \frac{8754}{6} \frac{\sqrt{9}}{12000} \approx 1.09 \pm 0.71$