Доказать что метод макс. правдоподобия работает не всегда.

[discobot]

Плотность случайной величины - сумма двух нормальных распределений с разными параметрами.
$p(x) = p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2)$
Нужно доказать что метод максимального правдоподобия с таким распределением работать не будет.

Собственно, я максимизирую функцию правдоподобия и получается, что параметры распределений совпадают. Можно ли считать что это и доказывает что с таким распределением метод не работает, или я что-то делаю не так?

[PAV]

Формализуйте, пожалуйста, что означает фраза "Метод не работает" в данном случае.

-- Чт сен 22, 2011 12:33:06 --

И вообще изложите подробнее. Какой (из пяти имеющихся в задаче) параметр Вы оцениваете, как выглядит функция правдоподобия ну и так далее.

[discobot]

Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Дальше, если искать ее максимум, то получается, что он достигается, когда
$a_1=a_2$ - выборочное средние
$\sigma_2 = \sigma_1$ - выборочная дисперсия

Собственно такие результаты меня и смущают.

Насколько я понимаю, нужно доказать что метод дает неправильную оценку, каким способом - не уточняется, быть может оценка должна получится смещенной, или просто логически не правильной.

[PAV]

Ну то есть Вы получили, что даже если параметры исходных нормальных законов не совпадают, то метод дает для них неверную оценку, которая не стремится к истинным значениям при увеличении объема выборки. Естественно, что такие оценки на практике бессмысленны.

[--mS--]

discobot в сообщении #485170 писал(а):

Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Это - не функция правдоподобия, и даже не логарифмическая, и вообще непонятно что (чем бы ни были $N(a_j,\sigma_j^2)$ в этом равенстве). Напишите функцию правдоподобия безо всяких $N(...)$, как функцию от выборки и параметров. По определению.

discobot в сообщении #485170 писал(а):

Дальше, если искать ее максимум, то получается, что он достигается, когда
...

Нет, не получается. Но сначала - функцию правдоподобия.

[Евгений Машеров]

А отчего Вы решили, что здесь ММП не работает? Собственно, для оценивания смеси распределений это едва ли не основной подход, метод моментов Пирсона требует вычисления моментов вплоть до пятого (что, при небольших выборках делает нас "заложниками выбросов") и решения уравнения девятой степени (что не страшно, но неприятно).
Только вот вместо функции правдоподобия у Вас "чтой-то непотребное".

[Евгений Машеров]

Да, и смещённость оценки не значит, что она "не работает". Более того, ММП весьма часто даёт смещённые оценки. Скажем, ММП-оценка дисперсии смещённая.

[discobot]

Да я понял, что с функцией правдоподобия что-то не так, переделал её, но все равно ни к чему хорошему это не приводит. Человек который дал эту задачу сказал, что функцию правдоподобия здесь считать не нужно, надо просто понимать что такое правдоподобие и решить задачу логически.

На всякий случай приведу еще раз условие задачи дословно:

Пусть распределение случайной величины Х является смесью двух нормальных распределений (формула выше)
показать, что при любом числе экспериментальных данных метод максимального правдоподобия не может привести к получению правильных оценок, если оцениваются параметры $a_1$, $a_2$, $\sigma_1$ и $\sigma_2$ приизвестной пропорции смеси $p_1$

[--mS--]

Кабы мы знали, что такое "правильные" оценки, да кабы Вы могли выписать функцию правдоподобия, можно было бы начать решать задачу...

[PAV]

Ну возможно имелось в виду что-то вроде следующего. Смесь распределений - это означает, что в выборке известная доля наблюдений распределены нормально с одними параметрами, а остальные наблюдения - нормально с другими параметрами. Какие именно это наблюдения - неизвестно. Может быть, отсюда можно получить требуемый вывод. Но как именно - я пока что не особо соображу.

[--mS--]

Нет. Имеется в виду ровно то, что написано. Распределение каждого элемента выборки имеет плотность, равную смеси плотностей, с неизвестными параметрами сдвига и масштаба хотя бы у одной плотности. Как вариант (модель совсем иная, но эффект от этого не зависит) выборка получена из либо одного такого распределения с неизвестными параметрами сдвига и масштаба, либо другого, причём смесь с известными вероятностями. (Тут было враньё, здесь не будет того же самого).
Чтобы человек увидел, что именно от него требуется, он должен начать решать задачу. Как минимум, выписать правильно функцию правдоподобия и выяснить, где у неё максимум(ы).

А проблема весьма известная, в некоторых книжках изложена.

[discobot]

Вот функция правдоподобия:
$L(x,a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1N(a_1,\sigma_1) +(1-p_1)N(a_2,\sigma_2))$

-- 24.09.2011, 23:26 --

--mS-- в сообщении #486091 писал(а):

А проблема весьма известная, в некоторых книжках изложена.

Название книжки не подскажете?

[PAV]

discobot
это не функция правдоподобия.

Начнем с того (это стоило бы отметить еще с Вашего первого поста), что обозначение нормального распределения $N(a,\sigma)$ Вы совершенно напрасно используете в качестве функции. Так не пишут. Посмотрите в свое первое сообщение - там в левой части есть аргумент $x$, а в правой его нет. Тогда уж хотя бы пишите что-то вроде $N(x,a,\sigma)$ (хотя и это будет грубовато).

-- Сб сен 24, 2011 23:38:54 --

Почитайте здесь и напишите по аналогии

Функция правдоподобия

[discobot]

Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

[--mS--]

discobot в сообщении #486123 писал(а):

Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

discobot в сообщении #486118 писал(а):

Название книжки не подскажете?

Не раньше, чем Вы решите задачу с нашей помощью.