2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Статистическая группировка событий
Сообщение20.03.2024, 14:53 


20/12/14
142
Предположим у нас есть события на линии времени.
Конкретно это дни в году, когда суточный ход температуры пересекает среднегодовую.
Но хотелось бы решить вопрос в общем случае.
Вот пример распределения событий:

Изображение

Нужно разделить всю линию времени на два типа интервалов:
когда события редки, и когда они расположены плотно.
Я прекрасно понимаю, что здесь можно сформулировать массу критериев,
зависящих от нескольких параметров и т.д.

И все же, думаю, можно сделать так. Пусть длина каждого интервала будет
не менее 30 и не более 90 дней.
Причем чем больше длина (с учетом верхней границы), тем лучше.
Интервалы непрерывны и строго чередуются.
Рассматривается ограниченный участок линии времени (год, два и т.д.)

Свободные параметры - положения границ интервалов, с учетом указанных условий.
Я не понимаю, как сформулировать целевую функцию, которую нужно максимизировать/ минимизировать.
Вот какой примерный результат интуитивно хотелось бы видеть:

Изображение

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 17:45 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Как вариант - ядерные оценки. Вводится ядро (треугольник, гауссоподобный холмик, параболический сегмент и т.п.), максимум ядра выставляется на событие, и затем усредняем по всем ядрам. Получается непрерывная функция, для которой определяется пороговое значение, выше которого "частые события", ниже "редкие".

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 18:54 


10/03/16
4444
Aeroport
Евгений Машеров
То есть вводим функцию
$$f(t) = \sum\limits_{i=1}^n \ker(t-\xi_i)$$
и считаем, что события расположены густо на тех интервалах, на которых ее значения больше некоторого порога, и редко на тех, где меньше порога, верно?

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 19:38 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Да. Произвольные моменты - выбор вида ядра (гауссиан это элегантно, но он бесконечно далеко простирается, прямоугольник будет давать скачки и т.п.) и выбор значения порога. Можно вместо значения порога задаваться общей длиной "частых" интервалов.

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 20:30 


20/12/14
142
Емае. Ну, я уже в принципе смирился, что тут все не просто.
Хотя сначала казалось, достаточно найти нужный параграф из учебника :facepalm:
Буду пробовать, в ближайшее время напишу, кто ответил, не пропадайте!

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 08:04 


20/12/14
142
Все же надеюсь можно сравнительно просто сделать.
Вот график номеров дней, которые являются событиями:

Изображение

Возможно, проще искать именно интервалы с редкими событиями.
Они выделены прямоугольниками. Например, задаться отношением сторон такого прямоугольника,
и искать их :?:

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 14:50 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 16:12 


14/11/21
141
Можно использовать стандартные алгоритмы кластеризации.

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 20:03 


20/12/14
142
Евгений Машеров в сообщении #1633713 писал(а):
Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

Гм, ну даже не знаю, пробую и так

-- 22.03.2024, 21:08 --

Alex Krylov в сообщении #1633723 писал(а):
Можно использовать стандартные алгоритмы кластеризации.

Конечно, это первое о чем подумал. Вычисления выполняю в Mathematica, сейчас там (с учетом опций)
свыше 50 алгоритмов кластеризации.
Многое выглядит подходяще, но нужен алгоритм с параметром, чтобы например правая граница кластера
при изменении параметра сдвигалась так (от "hard" к "soft"):

Изображение

Так настроить пока ни один алгоритм не смог. Основные кандидаты: DBSCAN, Agglomerate.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Padawan


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group