2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Как откалибровать распределение вероятностей?
Сообщение09.04.2025, 10:53 
Дано:

Нестационарный случайный процесс, в каждой точке времени t описываемый исходным распределением вероятностей 'D' - дискретное распределения вероятностей, размерности n описываемое как 2 вектора 'D{x,p}'.

Также для каждой точки t дано реально наблюдаемое значение нестационарного процесса, одно число.

Проблема в том что исходное распределение не совсем верно, если посчитать число реально наблюдаемых значений и сравнить с вероятностями исходного распределения 'D{x,p}' - мы получим ошибку, расхождения.

Задача:

Найти число s и матрицу T размерности nxn. Такие что преобразованное матрицей распределение `D'{x',p'}` где `x'=sx` и `p'=pM` будет иметь минимальную ошибку. (число 's' маштабирует значения 'x' исходного распределения, а матрица 'T' меняет его вероятности 'p'.)

Ошибка измеряется как максимальная относительная ошибка отличий вероятностей откалиброванного распределения от реально наблюдаемых 'max[exp abs log p(x)/count(actual=x)]'. (Функция ошибки получается что то вроде дискретной версии критерия Андерсона-Дарлинга).

Выражение 'exp abs log x' это своего рода аналог 'abs x' но мультипликативный а не аддитивный, чтобы из 10 и 1/10 получить одно и то же 10.

Данные:

Таблица где исходное распределение в каждый момент времени представлено как дискретная аппроксимация гауссовской смеси "0.5N(mean, sigma1) + 0.5N(mean, sigma2)' которое мы превращаем в дискретный вектор исходного распределения 'D{x,p}' в момент времени t, и реальное наблюдаемое значение 'actual'

Код:
sigma1  sigma2  mean  actual
0.091   0.231   0.018 0.08
0.097   0.223   0.018 0.28
...


Решение

У нас получается задача оптимизации, где есть сто тысяч дискретных распределений 'P{x,p}_t', и сто тысяч соответствующих им чисел 'actual_t'. И нужно из этих данных найти число s и матрицу T которая даст минимальную ошибку.

Насколько понимаю, получается оптимизация черного ящика, когда нам нужно найти параметры матрицы T и ограничение что ее форма должна быть боль менее "гладкой".

Или ее можно как то свести к задаче линейной оптимизации?

И, как добавить требование "гладкости" матрицы T?

P.S.

Я боль менее решил задачу, примерно, кустарным способом, но хотелось бы узнать как сделать это лучше.

 
 
 
 Re: Как откалибровать распределение вероятностей?
Сообщение24.04.2025, 13:18 
"гладкость" матрицы T может выглядеть как добавка пеналти для лосс функции, как "сумма(для каждой ячейки матрицы сумма квадртов ранцицы с каждой соседней ячейкой)".

 
 
 [ Сообщений: 2 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group