2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.



Начать новую тему Ответить на тему
 
 Показять, что ММП не приводит к получению оценок
Сообщение25.08.2017, 19:10 


14/08/17
19
Всем привет!
Еще одна задача на ММП

Пусть распределение случайной величины Х является смесью двух нормальных
распределений при известных параметрах $p_{1},a_{1},\sigma_{1} $
$p(x) = \frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x-a_{2})^{2}}{2\sigma_{2}^{2} }}$
Показать, что при любом числе экспериментальных данных метод максимального
правдоподобия не приводит к получению оценок параметров $a_{2},\sigma_{2}$

Мое "неправильное" Решение:
$p(x_{1},...,x_{n})=p(x_{1})...p(x_{n})=\prod\limits_{i=1}^{n}p(x_{i}) =$
$= \prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

тогда функция правдоподобия будет:
$L(a_{2},\sigma_{2})= \prod\limits_{i=1}^{n}p(x_{i}) =\prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})=$
$=\prod\limits_{i=1}^{n}(C +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})>$
>\prod\limits_{i=1}^{n}(\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Запишем логарифм функции правдоподобия
$\ln L(a_{2},\sigma_{2})=\sum\limits_{i=1}^{n}(\ln(\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}})-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2}})=$
$=C-n\ln\sigma_{2}-\frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2}}$

найдем производную по $\sigma_{2}$

$\ln L'_{\sigma_{2}}(a_{2},\sigma_{2}) = -\frac{n}{\sigma_{2}}+\frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{\sigma_{2}^{3}} = -n\sigma_{2}^{2}+\sum\limits_{i=1}^n (x_i-a_2)^2 = 0$

$\Rightarrow \hat{\sigma_{2}}^{2} = \frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{n} $

найдем производную по $a_{2}$

$\ln L'_{a_{2}}(a_{2},\sigma_{2}) = \frac{\sum\limits_{i=1}^{n}x_{i}}{\sigma_{2}^{2}}-\frac{n a_{2}}{\sigma_{2}^{2}} = 0$

$\Rightarrow \hat{a_{2}} = \frac{\sum\limits_{i=1}^{n}x_{i}}{n}$

Итого:
$\hat{a_{2}} = \frac{1}{n}\sum\limits_{i=1}^{n}x_{i}$

$ \hat \sigma_2^2 = \frac 1 n \sum\limits_{i=1}^{n}(x_i-\frac 1 n \sum_{i=1}^n x_i)^2$

И правда, данное решение не показывает, что при любом числе экспериментальных данных метод максимального
правдоподобия не приводит к получению оценок параметров $a_{2},\sigma_{2}$

Рассмотрим "правильное" решение из учебника (распишем его подробнее):
$L(a_{2},\sigma_{2})= \prod\limits_{i=1}^{n}p(x_{i}) = \prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Вынесем $P(x_1)$ из произведения:
$L(a_{2},\sigma_{2}) = p(x_1)\prod\limits_{i=2}^{n}p(x_{i}) =
(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{1}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }}) \prod\limits_{i=2}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Тогда, функцию правдоподобия можно разложить на сумму следующих произведений (схематично):
$
L(a_{2},\sigma_{2})=
p(x_1,a_1,\sigma_1)\prod\limits_{2}^{n}p(x_i,a_2,\sigma_2)+
p(x_1,a_1,\sigma_1)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1)+
p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1) +
p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_2,\sigma_2) ...
$

Каждое, из полученных, слагаемое положительное. Далее рассмотрим одно из слагаемых: $p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1)$:

$L(a_{2},\sigma_{2}) >
\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }} \prod\limits_{i=2}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} )=$
$=\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }} (\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}})^{n-1}\prod\limits_{i=2}^{n}(e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} )$

Найдем частные производные по $a_2$ и $\sigma_2$ данной функции и получим (выше мы это уже делали, поэтому сразу запишу ответ):
$ \hat{a_2} = x_1$
$ \hat{\sigma_{2}} = 0$

Следовательно, при $ \hat{a_2} = x_1$ и $ \hat{\sigma_{2}} \to 0$ правдоподобие может быть сколь угодно велико и его максимизация не имеет смысла.

Для каждого слагаемого справедливо, при $ \hat{a_2} = x_1$ и $ \hat{\sigma_{2}} \to 0$ правдоподобие может быть сколь угодно велико $L(a_{2},\sigma_{2}) \to +\infty$


Из того, что не осознал, осталось только, неотрицательные слагаемые, на которые делался акцент.
* В чем проблема, если одно из слагаемых будет отрицательное?
* Я правильно понимаю, что в этом случае одно из слагаемых будет стремиться к $+\infty$, другое к $-\infty$ и мы не сможем определить к чему стремится функция правдоподобия?
* Важно ли что бы все слагаемые были неотрицательные или важно чтобы не было перемены знака?
* Зачем в нашем случае делать на это упор, ведь очевидно, что все слагаемые положительные?

Полезные ссылки:
* topic49330-15.html
* https://drive.google.com/file/d/0B4fpN5 ... NBQ2M/view

 Профиль  
                  
 
 Re: Показять, что ММП не приводит к получению оценок
Сообщение27.08.2017, 22:44 
Заслуженный участник


12/07/07
4438
Неотрицательности достаточно, поэтому о положительности думать не обязательно.
kps в сообщении #1243022 писал(а):
Из того, что не осознал, осталось только, неотрицательные слагаемые, на которые делался акцент.
* В чем проблема, если одно из слагаемых будет отрицательное?
* Я правильно понимаю, что в этом случае одно из слагаемых будет стремиться к $+\infty$, другое к $-\infty$ и мы не сможем определить к чему стремится функция правдоподобия?
Неотрицательность используется во фрагменте рассуждений. В целом как-то так.
Возможно немного отличное от приведенного в книге Лагутина рассуждение. Это всё мелочи, которые на форуме, на мой взгляд, обсуждать как-то не уместно. Нужно просто немного подумать над примером.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group