2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 смесь нормальных распределений
Сообщение27.01.2014, 21:32 
Имеется кривая плотности вероятности. Не знаю как представить эту кривую в виде смеси нормальных распределений.
Вот похожий пример http://www.mathworks.com/help/stats/gmd ... n.fit.html но тут задается функция распределения случайных величин, а затем строится плотность вероятности и представляется в виде смеси нормальных распределений.

 
 
 
 Re: смесь нормальных распределений
Сообщение28.01.2014, 02:37 
Аватара пользователя
$$ f(x)=pf_1(x)+(1-p)f_2(x)$$

 
 
 
 Re: смесь нормальных распределений
Сообщение28.01.2014, 10:29 
:-) Это понятно. Только как найти $p$, параметры первого распределения $\mu_1$ и $\sigma_1$ и параметры второго распределения $\mu_2$ и $\sigma_2$?
В EM алгоритме задается в качестве входных данных случайные величины. А у меня нет этих случайных величин, сразу задается кривая плотности вероятности. Вот ее надо разделить на два нормальных распределения. Только как сделать?

 
 
 
 Re: смесь нормальных распределений
Сообщение28.01.2014, 11:16 
Аватара пользователя
Вот тут
http://www.twirpx.com/file/1184023/
есть обзор методов.
Один из первых есть в "Венецкий И.Г., Венецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе, 2-е издание", он основан на использовании моментов вплоть до 5-го порядка и решении уравнения 9=й степени, и весьма чувствителен к ошибкам вычислений и выбросам в данных.

(Оффтоп)

Небезызвестный месье Бертильон, попытавшись с его помощью оценить распределение роста в собранной его усилиями огромной выборке антропометрических данных, увидел наличие смеси двух нормальных распределений с разными матожиданиями, и интерпретировал это как свидетельство того, что галлы (кельтское племя) и франки (германское племя) до сих пор не слились в единую французскую нацию. Но оказалось, что результат - продукт ошибок округления при переводе сантиметров в дюймы (расчёты производили англичане)

 
 
 
 Re: смесь нормальных распределений
Сообщение28.01.2014, 11:46 
Аватара пользователя
В каком виде вам задана плотность смеси?

 
 
 
 Re: смесь нормальных распределений
Сообщение28.01.2014, 21:07 
Цитата:
В каком виде вам задана плотность смеси?


Таблично заданная функция. Это не совсем те данные. Но ход кривой такой же. Надо представить в виде двух или скорее всего трех гауссиан.

http://webfile.ru/7b62d6df28d79e05887e0d775d940903

 
 
 
 Re: смесь нормальных распределений
Сообщение29.01.2014, 05:24 
Аватара пользователя
Это экспериментальные данные? Что по оси 0Y?

 
 
 
 Re: смесь нормальных распределений
Сообщение29.01.2014, 08:05 
Можно посмотреть здесь: С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин - Прикладная статистика: Классификации и снижение размерности
Начиная с главы 6 и далее.

 
 
 
 Re: смесь нормальных распределений
Сообщение29.01.2014, 09:51 
Цитата:
Это экспериментальные данные? Что по оси 0Y?


Да, это экспериментальные данные. По оси Y - (число частиц/1000) а по оси Х время. Число частиц в единицу времени.

 
 
 
 Re: смесь нормальных распределений
Сообщение29.01.2014, 09:59 
Аватара пользователя
По такой таблице достаточно просто посчитать моменты (но есть риск, что моменты высокого порядка при сравнительно малом объёме выборки будут крайне недостоверны), медиану, квантили различного порядка.
Как вариант - считаем квантили, 5 штук (скажем, медиану, 25% и 75%, а также 5% и 95%), составляем систему из 5 нелинейных уравнений
$F(q)=p\Phi(\frac{x_q-m_1}{\sigma_1})+(1-p)\Phi(\frac{x_q-m_2}{\sigma_2})$
где $x_q$ - значение квантиля q
и решаем любым образом относительно матожиданий, дисперсий и доль в смеси.

 
 
 [ Сообщений: 10 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group