Изменения вер-ти успеха в испытаниях Бернулли

[melnikoff]

В онлайне непрерывно происходят испытания Бернулли (показ рекламы – ипытание, клик – успех). Цель – как можно раньше задетектировать изменение (факт и величину) вероятности успеха $p$ (CTR). $p \sim 0.001$.
Вижу 2 случая (сильно упрщённых, но хотя бы с ними разобраться для начала):
1) $p$ может меняться непрерывно и достаточно медленно;
2) $p$ кусочно-постоянна, то есть от последнего изменения до последющего $p$ неизменна. Про "время жизни" $p$ нам ничего не известно.

Вопрос такой. Имеются ли какие-то уже разработанные методы для решения данной задачи?
Мои размышления относительно случая 2 такие (мне кажется, этот случай проще).
Давайте строить 2 доверетиельных интервала для $p$: один на показах с последнего задетектированного изменения $p$, второй на поседних $N$ показах ($N$ подбирается исходя из уровня значимости и $|\Delta p|$, который мы хотим детектировать). Но тут сразу видна проблема. Если $|\Delta p|$ слишком большое, то это станет понятно задолго до $N$ показов. Значит, нужно считать доверительные интервалы для $p$ для последних $10, 11, ..., N$ испытаний. То есть доверительных интервалов у нас получается много. И вот тут возникает проблема как интерпертировать набор этих интервалов. Они могут иметь всевозможные паттерны перекрытий. И вот с этим проблема.
Из доверительных интервалов для вероятности успеха думаю использовать Wilson Score interval. Его рекомендуют использовать в этой статье – Confidence Intervals for the Binomial Proportion: A Comparison of Four Methods.

[sergey zhukov]

melnikoff
Ох, не желал бы я чаще кликать на рекламу. Видимо, на это тут задача направлена.

[ozheredov]

sergey zhukov в сообщении #1641106 писал(а):

не желал бы я чаще кликать на рекламу. Видимо, на это тут задача направлена.

Задача изменить не кликеров, а рекламу, чтоб на нее чаще кликали те же самые кликеры. И это хорошо: не можешь уничтожить - возглавь улучшь.

[alisa-lebovski]

Это называется задача о разладке. Этим много занимался академик А.Н.Ширяев.

[Bogka]

alisa-lebovski
Может в самом деле ИИ радикально ускорит обнаружение?

[melnikoff]

alisa-lebovski, спасибо за ответ.
Понял, что мне нужна "разладка биномиального процесса". Однако, поиск на эту тему не дал результатов.
Хотя, мне казалось, что такое должно уже было быть реализовано для практиков – на python, например.
Можете подсказать где искать
1) результаты по этой теме;
2) реализацию на любом ЯП ?

[alisa-lebovski]

melnikoff, я к сожалению, не знакома подробнее с этой темой. Поиском находятся статьи и книги про задачу о разладке. Обычно действительно рассматривают непрерывные процессы. Однако если у Вас речь идет о больших числах испытаний Бернулли (порядка сотен), можно приблизить это непрерывным броуновским движением и использовать соответствующую теорию.

[melnikoff]

* Вместо "разладка биномиального процесса" нужно читать "разладка процесса Бернулли".