Статистическая группировка событий

[denny]

Предположим у нас есть события на линии времени.
Конкретно это дни в году, когда суточный ход температуры пересекает среднегодовую.
Но хотелось бы решить вопрос в общем случае.
Вот пример распределения событий:



Нужно разделить всю линию времени на два типа интервалов:
когда события редки, и когда они расположены плотно.
Я прекрасно понимаю, что здесь можно сформулировать массу критериев,
зависящих от нескольких параметров и т.д.

И все же, думаю, можно сделать так. Пусть длина каждого интервала будет
не менее 30 и не более 90 дней.
Причем чем больше длина (с учетом верхней границы), тем лучше.
Интервалы непрерывны и строго чередуются.
Рассматривается ограниченный участок линии времени (год, два и т.д.)

Свободные параметры - положения границ интервалов, с учетом указанных условий.
Я не понимаю, как сформулировать целевую функцию, которую нужно максимизировать/ минимизировать.
Вот какой примерный результат интуитивно хотелось бы видеть:

[Евгений Машеров]

Как вариант - ядерные оценки. Вводится ядро (треугольник, гауссоподобный холмик, параболический сегмент и т.п.), максимум ядра выставляется на событие, и затем усредняем по всем ядрам. Получается непрерывная функция, для которой определяется пороговое значение, выше которого "частые события", ниже "редкие".

[ozheredov]

Евгений Машеров
То есть вводим функцию

$$f(t) = \sum\limits_{i=1}^n \ker(t-\xi_i)$$

и считаем, что события расположены густо на тех интервалах, на которых ее значения больше некоторого порога, и редко на тех, где меньше порога, верно?

[Евгений Машеров]

Да. Произвольные моменты - выбор вида ядра (гауссиан это элегантно, но он бесконечно далеко простирается, прямоугольник будет давать скачки и т.п.) и выбор значения порога. Можно вместо значения порога задаваться общей длиной "частых" интервалов.

[denny]

Емае. Ну, я уже в принципе смирился, что тут все не просто.
Хотя сначала казалось, достаточно найти нужный параграф из учебника
Буду пробовать, в ближайшее время напишу, кто ответил, не пропадайте!

[denny]

Все же надеюсь можно сравнительно просто сделать.
Вот график номеров дней, которые являются событиями:



Возможно, проще искать именно интервалы с редкими событиями.
Они выделены прямоугольниками. Например, задаться отношением сторон такого прямоугольника,
и искать их

[Евгений Машеров]

Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

[Alex Krylov]

Можно использовать стандартные алгоритмы кластеризации.

[denny]

Евгений Машеров в сообщении #1633713 писал(а):

Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

Гм, ну даже не знаю, пробую и так

-- 22.03.2024, 21:08 --

Alex Krylov в сообщении #1633723 писал(а):

Можно использовать стандартные алгоритмы кластеризации.

Конечно, это первое о чем подумал. Вычисления выполняю в Mathematica, сейчас там (с учетом опций)
свыше 50 алгоритмов кластеризации.
Многое выглядит подходяще, но нужен алгоритм с параметром, чтобы например правая граница кластера
при изменении параметра сдвигалась так (от "hard" к "soft"):



Так настроить пока ни один алгоритм не смог. Основные кандидаты: DBSCAN, Agglomerate.