Доказать что метод макс. правдоподобия работает не всегда.

[_hum_]

PAV в сообщении #486348 писал(а):

Взять выборку, состоящую из хотя бы нескольких попарно различных точек, так чтобы функция правдоподобия всегда была разумно определена, и сколь угодно больших значений не достигала.

А разве такое возможно? Ведь вне зависимости от значений выборки, если положить одно матожидание равным какому-либо значению выборки, то в множителе, отвечающем этому значению выборки, экспонента, которая не давала бы расти соответствующему слагаемому по дисперсии, "выключится", тем самым открыв возможность за счет выбора сколь угодно малого значения дисперсии получать сколь угодно большие значения этого слагаемого, и как следствие, всего этого множителя. Все же остальные множители при этом будут оставаться ограниченными снизу, поскольку каждый из них содержит не зависящее от рассматриваемой дисперсии слагаемое. Т.о., функция правдоподобия (как функция параметров) будет давать сколь угодно большие значения.

[mserg]

Ну, а внаглую ограничить сигма? Больше или равно, скажем, 0.00000001?

[PAV]

_hum_
да, похоже на то. Эту возможность я упустил. Спасибо, теперь вроде как понятно, что имеется в виду.

-- Вс сен 25, 2011 22:33:48 --

На практике для данной задачи можно применить алгоритм EM, это достаточно интуитивно естественно и должно давать хороший результат.

[discobot]

Наверное не буду создавать новую тему, тут спрошу.
А как оценивать результаты полученные методом максимального правдоподобия?
Конкретно интересует ковариационная матрица для векторного параметра.
Лучше всего, если посоветуете книжку какую-нибудь, хочется разобраться.

[--mS--]

mserg в сообщении #486408 писал(а):

Ну, а внаглую ограничить сигма? Больше или равно, скажем, 0.00000001?

Тогда глобальные максимумы у ф.п. будут в каких-то точках вида $a_k=x_i$, $\sigma_k=0,00000001$ ($k=1,2$, $i=1,\ldots,n$). Которые вряд ли можно назвать осмысленными оценками.

[DTF]

Извиняюсь, что поднимаю древнюю тему, но... я хотел бы продолжить ее обсуждение.

Уже выяснили, что для смеси нормальных распределений не удается построить хорошую функцию правдоподобия.

А если рассмотреть более простой случай - есть выборка случайной величины.
Мы считаем, что эта величина распределена по нормальному закону
$f(x, \sigma, \mu) = \frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

и хотим оценить параметры этого распределения.

Функция правдоподобия будет иметь вид
$L(x, \sigma, \mu) = \prod\limits_{i=1}^{n}f(x_i, \sigma, \mu)$

Мы можем взять в качестве среднего одну из точек выборки и устремить дисперсию к нулю, соответственно, функция устремится к бесконечности.


Получается, нормальные распределения вообще нельзя оценивать через ММП,
или я таки где-то неправ?

[--mS--]

Неправы. Потому как $\dfrac1x e^{-1/x^2} \not\to \infty$ при $x\to 0$.

[DTF]

Но ведь если мы возьмем в качестве среднего одну из точек выборки,
то под экспонентой будет 0, а сама экспонента станет единицей

[--mS--]

А куда денутся остальные экспоненты?

[DTF]

не понял вопроса...
У нас плотность состоит из одной экспоненты, не из смеси двух распределений.
Какие остальные?

[--mS--]

Вы определение функции правдоподобия знаете, нет? Приведите.

Upd: впрочем, Вы же его выше и приводили. Остальные экспоненты - те, что ещё присутствуют в количестве $n-1$ штуки в функции правдоподобия.

[DTF]

--mS-- в сообщении #626018 писал(а):

Вы определение функции правдоподобия знаете, нет? Приведите.

Upd: впрочем, Вы же его выше и приводили. Остальные экспоненты - те, что ещё присутствуют в количестве $n-1$ штуки в функции правдоподобия.

Теперь я Вас понял :)
Остальные экспоненты при стремлении дисперсии к 0 будут стремиться к 0 и
скомпенсируют возрастание одной избранной экспоненты, правильно?


Если честно, то определение функции правдоподобия я... не совсем понимаю.
А именно, в моем понимании, функция правдоподобия - это произведение вероятностей вида $P(y_i|x_i)$. Ну, или сумма логарифмов этих вероятностей, если берется логарифмическая функция правдоподобия.

Однако, почему-то вместо вероятности иногда появляется плотность, и этот момент я не понимаю :(

[--mS--]

Потому что для абсолютно непрерывных распределений вероятность попадания в любую точку нулевая, а аналогом ряда распределения служит именно плотность: $\mathsf P(X\in (t,\,t+dt))=f_X(t)\cdot dt$.

(Оффтоп)

Вот тут можно почитать: http://www.nsu.ru/mmf/tvims/chernova/ms/lec/node14.html

[DTF]

спасибо!

[GAA]

[Оставлю тут историческую ссылку]
В связи с примером неограниченной функции правдоподобия Redner R. A., Walker H. F. “Mixture densities, maximum likelihood and the EM algorithm”, SIAM Review, Vol. 26, No. 2 (1984) ссылаются* на
Kiefer J., Wolfowitz J. “Consistency of the Maximum Likelihood Estimator in the Presence of Infinitely Many Incidental Parameters”, Ann. Math. Statist. Volume 27, Number 4 (1956). Пример в самом конце статьи. На сегодня статья свободно доступна projecteuclid.org (pdf).
________________
* “…Kiefer and Wolfowitz [87], who offered an example involving a mixture of two univariate normal densities to show that classically defined maximumlikelihood estimates, i.e., global maximizers of the likelihood function, need not exist.”