Показять, что ММП не приводит к получению оценок

[kps]

Всем привет!
Еще одна задача на ММП

Пусть распределение случайной величины Х является смесью двух нормальных
распределений при известных параметрах $p_{1},a_{1},\sigma_{1} $
$p(x) = \frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x-a_{2})^{2}}{2\sigma_{2}^{2} }}$
Показать, что при любом числе экспериментальных данных метод максимального
правдоподобия не приводит к получению оценок параметров $a_{2},\sigma_{2}$

Мое "неправильное" Решение:
$p(x_{1},...,x_{n})=p(x_{1})...p(x_{n})=\prod\limits_{i=1}^{n}p(x_{i}) =$
$= \prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

тогда функция правдоподобия будет:
$L(a_{2},\sigma_{2})= \prod\limits_{i=1}^{n}p(x_{i}) =\prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})=$
$=\prod\limits_{i=1}^{n}(C +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})>$
>\prod\limits_{i=1}^{n}(\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Запишем логарифм функции правдоподобия
$\ln L(a_{2},\sigma_{2})=\sum\limits_{i=1}^{n}(\ln(\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}})-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2}})=$
$=C-n\ln\sigma_{2}-\frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2}}$

найдем производную по $\sigma_{2}$

$\ln L'_{\sigma_{2}}(a_{2},\sigma_{2}) = -\frac{n}{\sigma_{2}}+\frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{\sigma_{2}^{3}} = -n\sigma_{2}^{2}+\sum\limits_{i=1}^n (x_i-a_2)^2 = 0$

$\Rightarrow \hat{\sigma_{2}}^{2} = \frac{\sum\limits_{i=1}^{n}(x_{i}-a_{2})^{2}}{n} $

найдем производную по $a_{2}$

$\ln L'_{a_{2}}(a_{2},\sigma_{2}) = \frac{\sum\limits_{i=1}^{n}x_{i}}{\sigma_{2}^{2}}-\frac{n a_{2}}{\sigma_{2}^{2}} = 0$

$\Rightarrow \hat{a_{2}} = \frac{\sum\limits_{i=1}^{n}x_{i}}{n}$

Итого:
$\hat{a_{2}} = \frac{1}{n}\sum\limits_{i=1}^{n}x_{i}$

$ \hat \sigma_2^2 = \frac 1 n \sum\limits_{i=1}^{n}(x_i-\frac 1 n \sum_{i=1}^n x_i)^2$

И правда, данное решение не показывает, что при любом числе экспериментальных данных метод максимального
правдоподобия не приводит к получению оценок параметров $a_{2},\sigma_{2}$

Рассмотрим "правильное" решение из учебника (распишем его подробнее):
$L(a_{2},\sigma_{2})= \prod\limits_{i=1}^{n}p(x_{i}) = \prod\limits_{i=1}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Вынесем $P(x_1)$ из произведения:
$L(a_{2},\sigma_{2}) = p(x_1)\prod\limits_{i=2}^{n}p(x_{i}) = (\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{1}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }}) \prod\limits_{i=2}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} +\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{i}-a_{2})^{2}}{2\sigma_{2}^{2} }})$

Тогда, функцию правдоподобия можно разложить на сумму следующих произведений (схематично):
$ L(a_{2},\sigma_{2})= p(x_1,a_1,\sigma_1)\prod\limits_{2}^{n}p(x_i,a_2,\sigma_2)+ p(x_1,a_1,\sigma_1)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1)+ p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1) + p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_2,\sigma_2) ... $

Каждое, из полученных, слагаемое положительное. Далее рассмотрим одно из слагаемых: $p(x_1,a_2,\sigma_2)\prod\limits_{2}^{n}p(x_i,a_1,\sigma_1)$:

$L(a_{2},\sigma_{2}) > \frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }} \prod\limits_{i=2}^{n}(\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}}e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} )=$
$=\frac{1-p_{1}}{\sqrt{2\pi}\sigma_{2}}e^{-\frac{(x_{1}-a_{2})^{2}}{2\sigma_{2}^{2} }} (\frac{p_{1}}{\sqrt{2\pi}\sigma_{1}})^{n-1}\prod\limits_{i=2}^{n}(e^{-\frac{(x_{i}-a_{1})^{2}}{2\sigma_{1}^{2} }} )$

Найдем частные производные по $a_2$ и $\sigma_2$ данной функции и получим (выше мы это уже делали, поэтому сразу запишу ответ):
$ \hat{a_2} = x_1$
$ \hat{\sigma_{2}} = 0$

Следовательно, при $ \hat{a_2} = x_1$ и $ \hat{\sigma_{2}} \to 0$ правдоподобие может быть сколь угодно велико и его максимизация не имеет смысла.

Для каждого слагаемого справедливо, при $ \hat{a_2} = x_1$ и $ \hat{\sigma_{2}} \to 0$ правдоподобие может быть сколь угодно велико $L(a_{2},\sigma_{2}) \to +\infty$


Из того, что не осознал, осталось только, неотрицательные слагаемые, на которые делался акцент.
* В чем проблема, если одно из слагаемых будет отрицательное?
* Я правильно понимаю, что в этом случае одно из слагаемых будет стремиться к $+\infty$, другое к $-\infty$ и мы не сможем определить к чему стремится функция правдоподобия?
* Важно ли что бы все слагаемые были неотрицательные или важно чтобы не было перемены знака?
* Зачем в нашем случае делать на это упор, ведь очевидно, что все слагаемые положительные?

Полезные ссылки:
* topic49330-15.html
* https://drive.google.com/file/d/0B4fpN5 ... NBQ2M/view

[GAA]

Неотрицательности достаточно, поэтому о положительности думать не обязательно.

kps в сообщении #1243022 писал(а):

Из того, что не осознал, осталось только, неотрицательные слагаемые, на которые делался акцент.
* В чем проблема, если одно из слагаемых будет отрицательное?
* Я правильно понимаю, что в этом случае одно из слагаемых будет стремиться к $+\infty$, другое к $-\infty$ и мы не сможем определить к чему стремится функция правдоподобия?

Неотрицательность используется во фрагменте рассуждений. В целом как-то так.
Возможно немного отличное от приведенного в книге Лагутина рассуждение. Это всё мелочи, которые на форуме, на мой взгляд, обсуждать как-то не уместно. Нужно просто немного подумать над примером.