2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Статистическая группировка событий
Сообщение20.03.2024, 14:53 


20/12/14
142
Предположим у нас есть события на линии времени.
Конкретно это дни в году, когда суточный ход температуры пересекает среднегодовую.
Но хотелось бы решить вопрос в общем случае.
Вот пример распределения событий:

Изображение

Нужно разделить всю линию времени на два типа интервалов:
когда события редки, и когда они расположены плотно.
Я прекрасно понимаю, что здесь можно сформулировать массу критериев,
зависящих от нескольких параметров и т.д.

И все же, думаю, можно сделать так. Пусть длина каждого интервала будет
не менее 30 и не более 90 дней.
Причем чем больше длина (с учетом верхней границы), тем лучше.
Интервалы непрерывны и строго чередуются.
Рассматривается ограниченный участок линии времени (год, два и т.д.)

Свободные параметры - положения границ интервалов, с учетом указанных условий.
Я не понимаю, как сформулировать целевую функцию, которую нужно максимизировать/ минимизировать.
Вот какой примерный результат интуитивно хотелось бы видеть:

Изображение

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 17:45 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Как вариант - ядерные оценки. Вводится ядро (треугольник, гауссоподобный холмик, параболический сегмент и т.п.), максимум ядра выставляется на событие, и затем усредняем по всем ядрам. Получается непрерывная функция, для которой определяется пороговое значение, выше которого "частые события", ниже "редкие".

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 18:54 


10/03/16
4444
Aeroport
Евгений Машеров
То есть вводим функцию
$$f(t) = \sum\limits_{i=1}^n \ker(t-\xi_i)$$
и считаем, что события расположены густо на тех интервалах, на которых ее значения больше некоторого порога, и редко на тех, где меньше порога, верно?

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 19:38 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Да. Произвольные моменты - выбор вида ядра (гауссиан это элегантно, но он бесконечно далеко простирается, прямоугольник будет давать скачки и т.п.) и выбор значения порога. Можно вместо значения порога задаваться общей длиной "частых" интервалов.

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение20.03.2024, 20:30 


20/12/14
142
Емае. Ну, я уже в принципе смирился, что тут все не просто.
Хотя сначала казалось, достаточно найти нужный параграф из учебника :facepalm:
Буду пробовать, в ближайшее время напишу, кто ответил, не пропадайте!

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 08:04 


20/12/14
142
Все же надеюсь можно сравнительно просто сделать.
Вот график номеров дней, которые являются событиями:

Изображение

Возможно, проще искать именно интервалы с редкими событиями.
Они выделены прямоугольниками. Например, задаться отношением сторон такого прямоугольника,
и искать их :?:

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 14:50 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 16:12 


14/11/21
141
Можно использовать стандартные алгоритмы кластеризации.

 Профиль  
                  
 
 Re: Статистическая группировка событий
Сообщение22.03.2024, 20:03 


20/12/14
142
Евгений Машеров в сообщении #1633713 писал(а):
Мне кажется, то, что я предлагаю, алгоритмически реализовать наиболее просто. Ну, ещё вариант - считать каждое событие единичным импульсом и пропустить через НЧ-фильтр (только не фазосдвигающий)

Гм, ну даже не знаю, пробую и так

-- 22.03.2024, 21:08 --

Alex Krylov в сообщении #1633723 писал(а):
Можно использовать стандартные алгоритмы кластеризации.

Конечно, это первое о чем подумал. Вычисления выполняю в Mathematica, сейчас там (с учетом опций)
свыше 50 алгоритмов кластеризации.
Многое выглядит подходяще, но нужен алгоритм с параметром, чтобы например правая граница кластера
при изменении параметра сдвигалась так (от "hard" к "soft"):

Изображение

Так настроить пока ни один алгоритм не смог. Основные кандидаты: DBSCAN, Agglomerate.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group