2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2, 3  След.
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 12:49 
--mS-- в сообщении #486163 писал(а):
Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

$x_1 \ldots x_n $ - данная выборка из такого распределения
$\mathbf{x} = (x_1,\ldots,x_n)$
Функция правдоподобия задает вероятность получения при извлечении выборки объемом $n$, именно наблюдений $x_1, \ldots , x_n$ как функцию параметров.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 13:26 
Аватара пользователя
Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?

(Нужно также понимать, что функция правдоподобия - это не вероятность, за исключением дискретного случая. Но это слова, а Вы сконцентрируйтесь на правильной формуле).

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 13:36 
PAV в сообщении #486247 писал(а):
Если $x$ (без индекса) - это вектор, тогда как понимать выражения $x-a_1$ и $x-a_2$, которые у Вас встречаются в правой части?


Да, это я не прав
$L(\mathbf{x}|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:10 
Аватара пользователя
Смысл выражения в скобках я понимаю - это значение плотности рассматриваемого распределения в рассматриваемой точке выборки $x_i$.
А что означает умножение $x_i$ на это выражение?

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:36 
Ничего не обозначает.
$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=0}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 14:53 
Аватара пользователя
Ну наконец-то. Давайте возьмём для начала $n=1$, посмотрим на первое слагаемое и скажем, есть ли у него максимум по паре переменных $(a_1, \sigma_1)$.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 15:27 
Если смотреть нули частных производных, то получается $a_1 = x_1$; $\sigma_1 = 0$, но в этой точке функция не определена.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 15:57 
Аватара пользователя
Незачем смотреть на производные при столь простой функции, очевидно как себя ведущей по $a_1$ и по $\sigma_1$. Ну пусть даже так. Выводы для случая $n=1$?

P.S. Кстати, исправьте в произведении, дающем функцию правдоподобия, начальный индекс с нуля на 1.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 16:17 
$L(\mathbf{x}|a_1,a_2,\sigma_1^2,\sigma_2^2) = \prod\limits_{i=1}^{n}(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x_i-a_2)^2}{2\sigma_2^2}}})$

А выводы глобальные какие-то затрудняюсь сделать, кроме того что с данным распределением метод не дает результатов для выборки из одной точки.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:26 
Аватара пользователя
Этого мало? Теперь возьмите $n=2$, перемножьте скобки и так же рассмотрите то слагаемое, в котором есть смешанное произведение плотностей.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:36 
Да, теперь всё ясно. Спасибо вам большое за разъяснения!

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 17:39 
Аватара пользователя
Честно говоря, мне самому очень бы хотелось разобраться в этом вопросе, мне это реально может быть потребуется в работе, но я пока не понимаю, в чем тут фишка. Ну да, в случае одного наблюдения оптимальное решение - это поместить оба центра в данную точку, а сигмы сделать равными нулю. И это в общем-то наиболее здравое решение и с точки зрения здравого смысла. Ровно так же, как и при оценке параметров одного нормального распределения по одной точке мы не можем сделать ничего другого, кроме как поместить центр в эту точку, а разброс сделать нулевым. В случае двух точек здравый смысл подсказывает, что мы поместим центры $a_1$ и $a_2$ в эти точки (здесь будет неоднозначность), а сигмы опять будут нулевыми. Но это все равно все несодержательно, а вот почему при большом числе точек у нас будут проблемы с оценкой - мне это пока что не видно.

-- Вс сен 25, 2011 18:40:15 --

discobot
завидую, а вот мне пока что еще ничего не ясно.

-- Вс сен 25, 2011 18:42:18 --

--mS--
я очень надеюсь на продолжение разъяснений :roll: для особо непонятливых :oops:

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:32 
Аватара пользователя
Навскидку симпатичная книжка, где есть такой пример: М.Б.Лагутин. Наглядная математическая статистика - гл.9, параграф 4, пример 8. Или, ближе к первоисточникам, Э.Леман, Теория точечного оценивания, стр. 391.
Если рассмотреть одно слагаемое в функции правдоподобия вида
$$p_1\dfrac{1}{\sigma_1\sqrt{2\pi}}e^{-\frac{(x_i-a_1)^2}{2\sigma_1^2}}\cdot (1-p_1)^{n-1}\dfrac{1}{(\sigma_2\sqrt{2\pi})^{n-1}}e^{-\frac{\sum\limits_{j\neq i}(x_j-a_2)^2}{2\sigma_2^2}},$$
то это слагаемое неограничено и его супремум достигается при $a_1=x_i$, $\sigma_1\to 0$ при любых фиксированных значениях выборки и прочих параметров. Т.е. глобального максимума у функции правдоподобия нет. Соответственно, нет и ОМП, если её определять как точку глобального максимума. Хотя локальные, конечно, будут при объёмах выборки побольше. Т.е. у системы уравнений, приравнивающей к нулю частные производные по параметрам, будут решения, дающие локальные максимумы ф.п., и это будут асимптотически эффективные оценки.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:40 
Еще раз большое спасибо.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 18:49 
Аватара пользователя
Нет, я по-прежнему не понимаю. Мне казалось, что если у функции правдоподобия нет глобального максимума, и она может быть сколь угодно большой, то говорить об оценке МП вообще не имеет смысла, равно как и оценивать ее свойства. Если все-таки вернуться к случаю смеси двух нормальных распределений. Взять выборку, состоящую из хотя бы нескольких попарно различных точек, так чтобы функция правдоподобия всегда была разумно определена, и сколь угодно больших значений не достигала. В чем здесь будут проблемы, если практически для поиска параметров пытаться ее максимизировать каким-либо численным способом? Это можно считать адекватным практическим методом или здесь есть какие-то теоретические проблемы?

 
 
 [ Сообщений: 45 ]  На страницу Пред.  1, 2, 3  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group