Доказать что метод макс. правдоподобия работает не всегда.

[discobot]

--mS-- в сообщении #486163 писал(а):

Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

$x_1 \ldots x_n $ - данная выборка из такого распределения
$\mathbf{x} = (x_1,\ldots,x_n)$
Функция правдоподобия задает вероятность получения при извлечении выборки объемом $n$, именно наблюдений $x_1, \ldots , x_n$ как функцию параметров.

[PAV]

Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?

(Нужно также понимать, что функция правдоподобия - это не вероятность, за исключением дискретного случая. Но это слова, а Вы сконцентрируйтесь на правильной формуле).

[discobot]

PAV в сообщении #486247 писал(а):

Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?

Да, это я не прав
$L(\mathbf{x}|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

[PAV]

Смысл выражения в скобках я понимаю - это значение плотности рассматриваемого распределения в рассматриваемой точке выборки $x_i$.
А что означает умножение $x_i$ на это выражение?

[discobot]

Ничего не обозначает.
$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=0}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

[--mS--]

Ну наконец-то. Давайте возьмём для начала $n=1$, посмотрим на первое слагаемое и скажем, есть ли у него максимум по паре переменных $(a_1, \sigma_1)$.

[discobot]

Если смотреть нули частных производных, то получается $a_1 = x_1$; $\sigma_1 = 0$, но в этой точке функция не определена.

[--mS--]

Незачем смотреть на производные при столь простой функции, очевидно как себя ведущей по $a_1$ и по $\sigma_1$. Ну пусть даже так. Выводы для случая $n=1$?

P.S. Кстати, исправьте в произведении, дающем функцию правдоподобия, начальный индекс с нуля на 1.

[discobot]

$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=1}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

А выводы глобальные какие-то затрудняюсь сделать, кроме того что с данным распределением метод не дает результатов для выборки из одной точки.

[--mS--]

Этого мало? Теперь возьмите $n=2$, перемножьте скобки и так же рассмотрите то слагаемое, в котором есть смешанное произведение плотностей.

[discobot]

Да, теперь всё ясно. Спасибо вам большое за разъяснения!

[PAV]

Честно говоря, мне самому очень бы хотелось разобраться в этом вопросе, мне это реально может быть потребуется в работе, но я пока не понимаю, в чем тут фишка. Ну да, в случае одного наблюдения оптимальное решение - это поместить оба центра в данную точку, а сигмы сделать равными нулю. И это в общем-то наиболее здравое решение и с точки зрения здравого смысла. Ровно так же, как и при оценке параметров одного нормального распределения по одной точке мы не можем сделать ничего другого, кроме как поместить центр в эту точку, а разброс сделать нулевым. В случае двух точек здравый смысл подсказывает, что мы поместим центры $a_1$ и $a_2$ в эти точки (здесь будет неоднозначность), а сигмы опять будут нулевыми. Но это все равно все несодержательно, а вот почему при большом числе точек у нас будут проблемы с оценкой - мне это пока что не видно.

-- Вс сен 25, 2011 18:40:15 --

discobot
завидую, а вот мне пока что еще ничего не ясно.

-- Вс сен 25, 2011 18:42:18 --

--mS--
я очень надеюсь на продолжение разъяснений для особо непонятливых

[--mS--]

Навскидку симпатичная книжка, где есть такой пример: М.Б.Лагутин. Наглядная математическая статистика - гл.9, параграф 4, пример 8. Или, ближе к первоисточникам, Э.Леман, Теория точечного оценивания, стр. 391.
Если рассмотреть одно слагаемое в функции правдоподобия вида

$$p_1\dfrac{1}{\sigma_1\sqrt{2\pi}}e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}\cdot (1-p_1)^{n-1}\dfrac{1}{(\sigma_2\sqrt{2\pi})^{n-1}}e^{-\frac{\sum\limits_{j\neq i}(x_j-a_2)^2}{2\sigma_2^2}},$$

то это слагаемое неограничено и его супремум достигается при $a_1=x_i$, $\sigma_1\to 0$ при любых фиксированных значениях выборки и прочих параметров. Т.е. глобального максимума у функции правдоподобия нет. Соответственно, нет и ОМП, если её определять как точку глобального максимума. Хотя локальные, конечно, будут при объёмах выборки побольше. Т.е. у системы уравнений, приравнивающей к нулю частные производные по параметрам, будут решения, дающие локальные максимумы ф.п., и это будут асимптотически эффективные оценки.

[discobot]

Еще раз большое спасибо.

[PAV]

Нет, я по-прежнему не понимаю. Мне казалось, что если у функции правдоподобия нет глобального максимума, и она может быть сколь угодно большой, то говорить об оценке МП вообще не имеет смысла, равно как и оценивать ее свойства. Если все-таки вернуться к случаю смеси двух нормальных распределений. Взять выборку, состоящую из хотя бы нескольких попарно различных точек, так чтобы функция правдоподобия всегда была разумно определена, и сколь угодно больших значений не достигала. В чем здесь будут проблемы, если практически для поиска параметров пытаться ее максимизировать каким-либо численным способом? Это можно считать адекватным практическим методом или здесь есть какие-то теоретические проблемы?