Определение момента снижения вероятности появления сигнала

[alexey007]

Здравствуйте!

Решаю практическую задачу, связанную с анализом случайного сигнала, который регистрируется раз в день. Однако сигнал может как появляться, так и отсутствовать в разные дни.

Формализация задачи:

Мы начинаем отслеживать сигнал с момента его первого появления.
Пусть
$N$ — общее количество дней наблюдений.
$N_a$ — количество дней, в которые сигнал был зарегистрирован.
Оценка вероятности появления сигнала на следующий день естественным образом задаётся как:
$p= \frac{N_a}{N}$
​Если вероятность
$p$ является постоянной, то с увеличением $N$ оценка должна сходиться к истинному значению вероятности.
Однако известно, что вероятность появления сигнала $p$ может изменяться со временем. Нас интересует момент, когда $p$ начинает систематически снижаться, то есть вероятность появления сигнала падает.

Вопрос:
Какой статистический метод или критерий позволяет надёжно определить момент начала снижения вероятности появления сигнала? Желательно, чтобы метод был основан на фундаментальных законах статистики и теории вероятностей, а не на методах машинного обучения.

Буду рад ссылкам на известные подходы, формулы и примеры подобных задач!

[B@R5uk]

Без какого-нибудь знания о процессе появления ваших случайных событий это будет гадание на кофейной гуще.

alexey007 в сообщении #1674522 писал(а):

Оценка вероятности появления сигнала на следующий день естественным образом задаётся как:
$p= \frac{N_a}{N}$

Это при условии что события происходят независимо. А известно ли вам, что это на самом деле так? Если да, то это уже априорное знание о внутренних свойствах процесса. Вы вот для образовательного примера рассмотрите такой случай: вероятность события обратно пропорциональная экспоненте от времени с последнего прихода сигнала (с константой под экспонентой, разумеется). Это будут случайные, но далеко независимые события. После (случайной) паузы в несколько дней (или месяцев — в зависимости от константы) вероятность вновь обнаружить сигнал будет пренебрежимо мала.

Более ближе к делу, вам надо разбивать весь процесс измерения на достаточно длинные участки (месяцы, годы) в зависимости от средней частоты появления событий и точности, с которой вы хотите оценивать вероятность. На каждом участке усреднять. Однако, чем выше точность оценки, тем ниже временное разрешение, так как одно другому противоречит. Нельзя оба получить точно, придётся пожертвовать обоими величинами в том или ином соотношении, в зависимости от того, что вам нужно.

Я бы на вашем месте пропустил бы данные через фильтр (очень) низкой частоты и смотрел бы что там получается на выходе.

[Евгений Машеров]

Я тут вижу две подзадачи.
1. Оценка вероятности, учитывая, что она может меняться. Простые решения - экспоненциальное сглаживание или скользящее окно. Более сложные могут опираться на знание механизма дрейфа вероятности и без этого знания ничего предложить не могу.
2. Оценка гипотезы "вероятность изменилась". Нужна оценка "старой вероятности" и "новой" (не лучшее решение, но может работать - два скользящих окна, одно для последних данных, другое для предшествующего отрезка, считаем частоты "успехов", проверяем гипотезу о равенстве вероятностей)
Сильная задержка по времени, но на основе только доступных данных она кажется неизбежной. Любая дополнительная информация поможет (скажем, если есть оценка вероятности события "вероятность успеха упала" - то можно в сторону Байеса подумать, а если известно, насколько должна упасть - гипотеза формулируется чётче, не "вероятность неизменна/изменилась", а "вероятности отличаются на величину q"

[alexey007]

Спасибо за ответы и советы, буду думать.
Еще возник вопрос по задаче из теорвера.
Есть база данных телефонных номеров, которая постоянно пополняется. Данным номерам периодически рассылаются сообщения. Возьмем номера для которых как минимум отправлялись 10 сообщений и посчитаем сколько было отправлено сообщений и сколько было из них доставлено и посчитаем так сказать $p_d$ - коэффициент доставки сообщения на данный номер (назовем это приближенной вероятностью доставки сообщения):
$d=\frac{N_{delivery}}{N_{sent}}$
Построим гистограмму по всем номерам в базе данных $P(p_d)$. И вот теперь я хочу решить простую задачу:
Найти вероятность того, что если для нового телефона в базе не было доставлено $N_{fail}$ сообщений подряд, то это телефон имеет $p_d<0.25$.
Я записал формулу Байеса:
$P(p_d<0.25|N_{fail})=\frac{P(N_{fail}|p_d<0.25)P(p_d<0.25)}{P(N_{fail})}$
Я хочу разобраться в формуле Байеса, могу ошибаться, но я посмотрел задачки и вот такую формулу написал исправьте, если не прав.
теперь запишем вероятность того, что было подряд $N_{fail}$ при вероятностях $p_d<0.25$
$P(p_d<0.25)=\int_{0}^{0.25}(1-x)^{N_{fail}}P(x)dx$
$P(N_{fail}|p_d<0.25)=\int_{0}^{0.25}P(x)dx$
$P(N_{fail})=\int_{0}^{1}(1-x)^{N_{fail}}P(x)dx$
И я вот запрограммировал данную формулу и когда устремляю $N_{fail}$ к большим числам то ожидаю стремление к 1, а получаю $0.1$
Для проверки дам значения гистограммы
$p_d$=[0.02 , 0.075, 0.125, 0.175, 0.225, 0.275, 0.325, 0.375, 0.425, 0.475, 0.525, 0.575, 0.625, 0.675, 0.725, 0.775, 0.825, 0.875, 0.925, 0.98 ]

$P(p_d)$=[0.0598358 , 0.00579693, 0.01041777, 0.01367285, 0.01230709, 0.01669272, 0.01466683, 0.02500873, 0.01782327, 0.03230041, 0.01308861, 0.04002458, 0.0362839 , 0.05469141, 0.09438973, 0.08388091, 0.11350289, 0.17572879, 0.10465575, 0.07523104]

Подскажите, пожалуйста. что не так