2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Как откалибровать распределение вероятностей?
Сообщение09.04.2025, 10:53 


08/01/25
41
Дано:

Нестационарный случайный процесс, в каждой точке времени t описываемый исходным распределением вероятностей 'D' - дискретное распределения вероятностей, размерности n описываемое как 2 вектора 'D{x,p}'.

Также для каждой точки t дано реально наблюдаемое значение нестационарного процесса, одно число.

Проблема в том что исходное распределение не совсем верно, если посчитать число реально наблюдаемых значений и сравнить с вероятностями исходного распределения 'D{x,p}' - мы получим ошибку, расхождения.

Задача:

Найти число s и матрицу T размерности nxn. Такие что преобразованное матрицей распределение `D'{x',p'}` где `x'=sx` и `p'=pM` будет иметь минимальную ошибку. (число 's' маштабирует значения 'x' исходного распределения, а матрица 'T' меняет его вероятности 'p'.)

Ошибка измеряется как максимальная относительная ошибка отличий вероятностей откалиброванного распределения от реально наблюдаемых 'max[exp abs log p(x)/count(actual=x)]'. (Функция ошибки получается что то вроде дискретной версии критерия Андерсона-Дарлинга).

Выражение 'exp abs log x' это своего рода аналог 'abs x' но мультипликативный а не аддитивный, чтобы из 10 и 1/10 получить одно и то же 10.

Данные:

Таблица где исходное распределение в каждый момент времени представлено как дискретная аппроксимация гауссовской смеси "0.5N(mean, sigma1) + 0.5N(mean, sigma2)' которое мы превращаем в дискретный вектор исходного распределения 'D{x,p}' в момент времени t, и реальное наблюдаемое значение 'actual'

Код:
sigma1  sigma2  mean  actual
0.091   0.231   0.018 0.08
0.097   0.223   0.018 0.28
...


Решение

У нас получается задача оптимизации, где есть сто тысяч дискретных распределений 'P{x,p}_t', и сто тысяч соответствующих им чисел 'actual_t'. И нужно из этих данных найти число s и матрицу T которая даст минимальную ошибку.

Насколько понимаю, получается оптимизация черного ящика, когда нам нужно найти параметры матрицы T и ограничение что ее форма должна быть боль менее "гладкой".

Или ее можно как то свести к задаче линейной оптимизации?

И, как добавить требование "гладкости" матрицы T?

P.S.

Я боль менее решил задачу, примерно, кустарным способом, но хотелось бы узнать как сделать это лучше.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ 1 сообщение ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group