Функция правдоподобия

[yerzhik]

Объясните пожалуйста, почему в методе максимального правдоподобия для оценивания неизвестного параметра мы ищем именно максимум функции правдоподобия? Функция правдоподобия - это функция вида
$P(X_1 \le x_1, ..., X_n \le x_n)$ Зависящая при этом от неизвестного параметра $\Theta$. Почему максимум при $\Theta$ даст именно наилучшую оценку?

[Евгений Машеров]

Ну, я бы не сказал, что это у Вас именно функция правдоподобия. Обычно она определяется, как плотность совместного распределения, рассматриваемая, как функция от параметров.

[profrotter]

Пусть оцениваемый параметр $\Theta$ может принимать дискретные значения $\theta_m,m=0,...,M-1$ с одинаковой вероятностью $P(\Theta = \theta_m)=p$. Оценка параметра ведётся по результатам наблюдения непрерывных случайных велчин $X_0,...,X_{N-1}$.
Очевидным является следующее правило оценивания: в качестве значения параметра принимается такое, которому соответствует наибольшая вероятность при условии, что наблюдается некоторая совокупность значений $x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}$. (последняя запись означает, что случайные величины $X_0,...,X_{N-1}$ приняли бесконечно близкие значения к $x_0,...,x_{N-1}$), то есть
если

$$P(\Theta = \theta_k|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})$$

$$>$$

$$P(\Theta = \theta_m|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}),m=0,...,M-1; m\neq k,$$

то принимется решение о том, что $\Theta = \theta_k$. Фактически оценка производится по наиболее вероятному значению параметра при условии наблюдения данной выборки. Тут мы как бы говорим, что скорее всего параметр имеет значение $\Theta = \theta_k$. Однако определить вероятности, входящие в правило принятия решения чаще всего оказывается затруднительно. С учётом теоремы о произведении событий выполним следующие преобразования:

$$P(\Theta = \theta_m|x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})=$$

$$=\frac {P(\Theta = \theta_m;x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})} {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})}=$$

$$=\frac {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_m)P(\Theta = \theta_m)} {P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1})}$$

Полученное выражение подставим в систему неравенств, которая определяет принятие решения и, с учётом равновероятности значений $\Theta$, получим:
если

$$P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_k)$$

$$>$$

$$P(x_0<X_0<x_0+\partial x_0,...,x_{N-1}<X_{N-1}<x_{N-1}+\partial x_{N-1}|\Theta = \theta_m),$$

то принимается решение $\Theta = \theta_k$. Поделив обе части неравенств на $\partial x_0...\partial x_{N-1}$, перейдём к условным плотностям вероятностей:
если

$$w(x_0,...,x_{N-1}|\Theta = \theta_k)>w(x_0,...,x_{N-1}|\Theta = \theta_m),m=0,...,M-1,$$

то принимается решение $\Theta = \theta_k$, то есть выбирается такое значение параметра, которое соответствует максимуму функции $w(x_0,...,x_{N-1}| \theta)$, которая и называется функцией правдоподобия - это совместная плотность распределения вероятностей величин $X_0,...,X_{N-1}$ при условии, что оцениваемый параметр принял известное значение. Фактически в качестве оценки принимается такое значение параметра, которое при его фиксации соответствует максимальной вероятности наблюдать набор значений $x_0,...,x_{N-1}$.

[мат-ламер]

yerzhik в сообщении #434329 писал(а):

Объясните пожалуйста, почему в методе максимального правдоподобия для оценивания неизвестного параметра мы ищем именно максимум функции правдоподобия? ... Почему максимум при $\Theta$ даст именно наилучшую оценку?

Есть соответствующая теорема, что при выполнении некоторых условий типа регулярности, оценка, полученная методом макимального правдоподобия, является наилучшей в асимптотическом смысле (асимптотически оптимальной), т.е. на этой оценке достигается граница, определяемая неравенством Крамера-Рао. Но если условия регулярности не выполняются, то можно найти оценку и получше оценки по методу максимального правдоподобия.

[Евгений Машеров]

На "содержательном уровне"...
Более вероятные события встречаются чаще, чем менее вероятные (спасибо, кэп!)
Если событие произошло - наверно, оно было вероятным. Поскольку оно нам одно только и доступно - можно полагать, что оно было самым вероятным из возможных. Стало быть, параметры распределения были таковы, что плотность вероятности (или для дискретных - вероятность) для реализовавшегося события была максимальна.