2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Функция правдоподобия
Сообщение13.04.2011, 15:05 
Объясните пожалуйста, почему в методе максимального правдоподобия для оценивания неизвестного параметра мы ищем именно максимум функции правдоподобия? Функция правдоподобия - это функция вида
$P(X_1 \le x_1, ..., X_n \le x_n)$ Зависящая при этом от неизвестного параметра $\Theta$. Почему максимум при $\Theta$ даст именно наилучшую оценку?

 
 
 
 Re: Функция правдоподобия
Сообщение13.04.2011, 16:50 
Аватара пользователя
Ну, я бы не сказал, что это у Вас именно функция правдоподобия. Обычно она определяется, как плотность совместного распределения, рассматриваемая, как функция от параметров.

 
 
 
 Re: Функция правдоподобия
Сообщение13.04.2011, 17:23 
Аватара пользователя
Пусть оцениваемый параметр $\Theta$ может принимать дискретные значения $\theta_m,m=0,...,M-1$ с одинаковой вероятностью $P(\Theta = \theta_m)=p$. Оценка параметра ведётся по результатам наблюдения непрерывных случайных велчин $X_0,...,X_{N-1}$.
Очевидным является следующее правило оценивания: в качестве значения параметра принимается такое, которому соответствует наибольшая вероятность при условии, что наблюдается некоторая совокупность значений $x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}$. (последняя запись означает, что случайные величины $X_0,...,X_{N-1}$ приняли бесконечно близкие значения к $x_0,...,x_{N-1}$), то есть
если $$P(\Theta = \theta_k|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})$$$$>$$$$P(\Theta = \theta_m|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}),m=0,...,M-1; m\neq k,$$ то принимется решение о том, что $\Theta = \theta_k$. Фактически оценка производится по наиболее вероятному значению параметра при условии наблюдения данной выборки. Тут мы как бы говорим, что скорее всего параметр имеет значение $\Theta = \theta_k$. Однако определить вероятности, входящие в правило принятия решения чаще всего оказывается затруднительно. С учётом теоремы о произведении событий выполним следующие преобразования: $$P(\Theta = \theta_m|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})=$$ $$=\frac {P(\Theta = \theta_m;x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})} {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})}=$$ $$=\frac {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_m)P(\Theta = \theta_m)} {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})}$$ Полученное выражение подставим в систему неравенств, которая определяет принятие решения и, с учётом равновероятности значений $\Theta$, получим:
если $$P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_k)$$ $$>$$ $$P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_m),$$ то принимается решение $\Theta = \theta_k$. Поделив обе части неравенств на $\partial x_0...\partial x_{N-1}$, перейдём к условным плотностям вероятностей:
если $$w(x_0,...,x_{N-1}|\Theta = \theta_k)>w(x_0,...,x_{N-1}|\Theta = \theta_m),m=0,...,M-1,$$то принимается решение $\Theta = \theta_k$, то есть выбирается такое значение параметра, которое соответствует максимуму функции $w(x_0,...,x_{N-1}| \theta)$, которая и называется функцией правдоподобия - это совместная плотность распределения вероятностей величин $X_0,...,X_{N-1}$ при условии, что оцениваемый параметр принял известное значение. Фактически в качестве оценки принимается такое значение параметра, которое при его фиксации соответствует максимальной вероятности наблюдать набор значений $x_0,...,x_{N-1}$.

 
 
 
 Re: Функция правдоподобия
Сообщение13.04.2011, 19:52 
Аватара пользователя
yerzhik в сообщении #434329 писал(а):
Объясните пожалуйста, почему в методе максимального правдоподобия для оценивания неизвестного параметра мы ищем именно максимум функции правдоподобия? ... Почему максимум при $\Theta$ даст именно наилучшую оценку?

Есть соответствующая теорема, что при выполнении некоторых условий типа регулярности, оценка, полученная методом макимального правдоподобия, является наилучшей в асимптотическом смысле (асимптотически оптимальной), т.е. на этой оценке достигается граница, определяемая неравенством Крамера-Рао. Но если условия регулярности не выполняются, то можно найти оценку и получше оценки по методу максимального правдоподобия.

 
 
 
 Re: Функция правдоподобия
Сообщение13.04.2011, 21:01 
Аватара пользователя
На "содержательном уровне"...
Более вероятные события встречаются чаще, чем менее вероятные (спасибо, кэп!)
Если событие произошло - наверно, оно было вероятным. Поскольку оно нам одно только и доступно - можно полагать, что оно было самым вероятным из возможных. Стало быть, параметры распределения были таковы, что плотность вероятности (или для дискретных - вероятность) для реализовавшегося события была максимальна.

 
 
 [ Сообщений: 5 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group