2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 20:32 


23/12/07
1579
PAV в сообщении #486348 писал(а):
Взять выборку, состоящую из хотя бы нескольких попарно различных точек, так чтобы функция правдоподобия всегда была разумно определена, и сколь угодно больших значений не достигала.


А разве такое возможно? Ведь вне зависимости от значений выборки, если положить одно матожидание равным какому-либо значению выборки, то в множителе, отвечающем этому значению выборки, экспонента, которая не давала бы расти соответствующему слагаемому по дисперсии, "выключится", тем самым открыв возможность за счет выбора сколь угодно малого значения дисперсии получать сколь угодно большие значения этого слагаемого, и как следствие, всего этого множителя. Все же остальные множители при этом будут оставаться ограниченными снизу, поскольку каждый из них содержит не зависящее от рассматриваемой дисперсии слагаемое. Т.о., функция правдоподобия (как функция параметров) будет давать сколь угодно большие значения.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 21:28 


17/10/08
1059
Ну, а внаглую ограничить сигма? Больше или равно, скажем, 0.00000001?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 21:31 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
_hum_
да, похоже на то. Эту возможность я упустил. Спасибо, теперь вроде как понятно, что имеется в виду.

-- Вс сен 25, 2011 22:33:48 --

На практике для данной задачи можно применить алгоритм EM, это достаточно интуитивно естественно и должно давать хороший результат.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 22:48 


17/09/11
33
Наверное не буду создавать новую тему, тут спрошу.
А как оценивать результаты полученные методом максимального правдоподобия?
Конкретно интересует ковариационная матрица для векторного параметра.
Лучше всего, если посоветуете книжку какую-нибудь, хочется разобраться.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение26.09.2011, 04:33 
Заслуженный участник
Аватара пользователя


23/11/06
3968
mserg в сообщении #486408 писал(а):
Ну, а внаглую ограничить сигма? Больше или равно, скажем, 0.00000001?

Тогда глобальные максимумы у ф.п. будут в каких-то точках вида $a_k=x_i$, $\sigma_k=0,00000001$ ($k=1,2$, $i=1,\ldots,n$). Которые вряд ли можно назвать осмысленными оценками.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 01:19 


12/02/12
48
Извиняюсь, что поднимаю древнюю тему, но... я хотел бы продолжить ее обсуждение.

Уже выяснили, что для смеси нормальных распределений не удается построить хорошую функцию правдоподобия.

А если рассмотреть более простой случай - есть выборка случайной величины.
Мы считаем, что эта величина распределена по нормальному закону
$f(x, \sigma, \mu) = \frac{1}{\sigma \sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$

и хотим оценить параметры этого распределения.

Функция правдоподобия будет иметь вид
$L(x, \sigma, \mu) = \prod\limits_{i=1}^{n}f(x_i, \sigma, \mu)$

Мы можем взять в качестве среднего одну из точек выборки и устремить дисперсию к нулю, соответственно, функция устремится к бесконечности.


Получается, нормальные распределения вообще нельзя оценивать через ММП,
или я таки где-то неправ? :oops:

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 05:03 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Неправы. Потому как $\dfrac1x e^{-1/x^2} \not\to \infty$ при $x\to 0$.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 09:29 


12/02/12
48
Но ведь если мы возьмем в качестве среднего одну из точек выборки,
то под экспонентой будет 0, а сама экспонента станет единицей

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 11:58 
Заслуженный участник
Аватара пользователя


23/11/06
3968
А куда денутся остальные экспоненты?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 12:11 


12/02/12
48
не понял вопроса...
У нас плотность состоит из одной экспоненты, не из смеси двух распределений.
Какие остальные?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 12:17 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Вы определение функции правдоподобия знаете, нет? Приведите.

Upd: впрочем, Вы же его выше и приводили. Остальные экспоненты - те, что ещё присутствуют в количестве $n-1$ штуки в функции правдоподобия.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 12:53 


12/02/12
48
--mS-- в сообщении #626018 писал(а):
Вы определение функции правдоподобия знаете, нет? Приведите.

Upd: впрочем, Вы же его выше и приводили. Остальные экспоненты - те, что ещё присутствуют в количестве $n-1$ штуки в функции правдоподобия.


Теперь я Вас понял :)
Остальные экспоненты при стремлении дисперсии к 0 будут стремиться к 0 и
скомпенсируют возрастание одной избранной экспоненты, правильно?


Если честно, то определение функции правдоподобия я... не совсем понимаю.
А именно, в моем понимании, функция правдоподобия - это произведение вероятностей вида $P(y_i|x_i)$. Ну, или сумма логарифмов этих вероятностей, если берется логарифмическая функция правдоподобия.

Однако, почему-то вместо вероятности иногда появляется плотность, и этот момент я не понимаю :(

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 13:15 
Заслуженный участник
Аватара пользователя


23/11/06
3968
Потому что для абсолютно непрерывных распределений вероятность попадания в любую точку нулевая, а аналогом ряда распределения служит именно плотность: $\mathsf P(X\in (t,\,t+dt))=f_X(t)\cdot dt$.

(Оффтоп)

Вот тут можно почитать: http://www.nsu.ru/mmf/tvims/chernova/ms/lec/node14.html

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение02.10.2012, 15:52 


12/02/12
48
спасибо!

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение26.08.2017, 17:25 
Экс-модератор


12/07/07
3325
Донецк, Украина
[Оставлю тут историческую ссылку]
В связи с примером неограниченной функции правдоподобия Redner R. A., Walker H. F. “Mixture densities, maximum likelihood and the EM algorithm”, SIAM Review, Vol. 26, No. 2 (1984) ссылаются* на
Kiefer J., Wolfowitz J. “Consistency of the Maximum Likelihood Estimator in the Presence of Infinitely Many Incidental Parameters”, Ann. Math. Statist. Volume 27, Number 4 (1956). Пример в самом конце статьи. На сегодня статья свободно доступна projecteuclid.org (pdf).
________________
* “…Kiefer and Wolfowitz [87], who offered an example involving a mixture of two univariate normal densities to show that classically defined maximumlikelihood estimates, i.e., global maximizers of the likelihood function, need not exist.”

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 45 ]  На страницу Пред.  1, 2, 3

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group