2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 12:49 


17/09/11
33
--mS-- в сообщении #486163 писал(а):
Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

$x_1 \ldots x_n $ - данная выборка из такого распределения
$\mathbf{x} = (x_1,\ldots,x_n)$
Функция правдоподобия задает вероятность получения при извлечении выборки объемом $n$, именно наблюдений $x_1, \ldots , x_n$ как функцию параметров.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 13:26 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?

(Нужно также понимать, что функция правдоподобия - это не вероятность, за исключением дискретного случая. Но это слова, а Вы сконцентрируйтесь на правильной формуле).

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 13:36 


17/09/11
33
PAV в сообщении #486247 писал(а):
Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?


Да, это я не прав
$L(\mathbf{x}|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:10 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Смысл выражения в скобках я понимаю - это значение плотности рассматриваемого распределения в рассматриваемой точке выборки $x_i$.
А что означает умножение $x_i$ на это выражение?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:36 


17/09/11
33
Ничего не обозначает.
$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=0}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:53 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Ну наконец-то. Давайте возьмём для начала $n=1$, посмотрим на первое слагаемое и скажем, есть ли у него максимум по паре переменных $(a_1, \sigma_1)$.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 15:27 


17/09/11
33
Если смотреть нули частных производных, то получается $a_1 = x_1$; $\sigma_1 = 0$, но в этой точке функция не определена.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 15:57 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Незачем смотреть на производные при столь простой функции, очевидно как себя ведущей по $a_1$ и по $\sigma_1$. Ну пусть даже так. Выводы для случая $n=1$?

P.S. Кстати, исправьте в произведении, дающем функцию правдоподобия, начальный индекс с нуля на 1.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 16:17 


17/09/11
33
$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=1}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

А выводы глобальные какие-то затрудняюсь сделать, кроме того что с данным распределением метод не дает результатов для выборки из одной точки.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:26 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Этого мало? Теперь возьмите $n=2$, перемножьте скобки и так же рассмотрите то слагаемое, в котором есть смешанное произведение плотностей.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:36 


17/09/11
33
Да, теперь всё ясно. Спасибо вам большое за разъяснения!

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:39 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Честно говоря, мне самому очень бы хотелось разобраться в этом вопросе, мне это реально может быть потребуется в работе, но я пока не понимаю, в чем тут фишка. Ну да, в случае одного наблюдения оптимальное решение - это поместить оба центра в данную точку, а сигмы сделать равными нулю. И это в общем-то наиболее здравое решение и с точки зрения здравого смысла. Ровно так же, как и при оценке параметров одного нормального распределения по одной точке мы не можем сделать ничего другого, кроме как поместить центр в эту точку, а разброс сделать нулевым. В случае двух точек здравый смысл подсказывает, что мы поместим центры $a_1$ и $a_2$ в эти точки (здесь будет неоднозначность), а сигмы опять будут нулевыми. Но это все равно все несодержательно, а вот почему при большом числе точек у нас будут проблемы с оценкой - мне это пока что не видно.

-- Вс сен 25, 2011 18:40:15 --

discobot
завидую, а вот мне пока что еще ничего не ясно.

-- Вс сен 25, 2011 18:42:18 --

--mS--
я очень надеюсь на продолжение разъяснений :roll: для особо непонятливых :oops:

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:32 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Навскидку симпатичная книжка, где есть такой пример: М.Б.Лагутин. Наглядная математическая статистика - гл.9, параграф 4, пример 8. Или, ближе к первоисточникам, Э.Леман, Теория точечного оценивания, стр. 391.
Если рассмотреть одно слагаемое в функции правдоподобия вида
$$p_1\dfrac{1}{\sigma_1\sqrt{2\pi}}e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}\cdot (1-p_1)^{n-1}\dfrac{1}{(\sigma_2\sqrt{2\pi})^{n-1}}e^{-\frac{\sum\limits_{j\neq i}(x_j-a_2)^2}{2\sigma_2^2}},$$
то это слагаемое неограничено и его супремум достигается при $a_1=x_i$, $\sigma_1\to 0$ при любых фиксированных значениях выборки и прочих параметров. Т.е. глобального максимума у функции правдоподобия нет. Соответственно, нет и ОМП, если её определять как точку глобального максимума. Хотя локальные, конечно, будут при объёмах выборки побольше. Т.е. у системы уравнений, приравнивающей к нулю частные производные по параметрам, будут решения, дающие локальные максимумы ф.п., и это будут асимптотически эффективные оценки.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:40 


17/09/11
33
Еще раз большое спасибо.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:49 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Нет, я по-прежнему не понимаю. Мне казалось, что если у функции правдоподобия нет глобального максимума, и она может быть сколь угодно большой, то говорить об оценке МП вообще не имеет смысла, равно как и оценивать ее свойства. Если все-таки вернуться к случаю смеси двух нормальных распределений. Взять выборку, состоящую из хотя бы нескольких попарно различных точек, так чтобы функция правдоподобия всегда была разумно определена, и сколь угодно больших значений не достигала. В чем здесь будут проблемы, если практически для поиска параметров пытаться ее максимизировать каким-либо численным способом? Это можно считать адекватным практическим методом или здесь есть какие-то теоретические проблемы?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 45 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group