2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2, 3  След.
 
 Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:24 
Плотность случайной величины - сумма двух нормальных распределений с разными параметрами.
$p(x) = p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2)$
Нужно доказать что метод максимального правдоподобия с таким распределением работать не будет.

Собственно, я максимизирую функцию правдоподобия и получается, что параметры распределений совпадают. Можно ли считать что это и доказывает что с таким распределением метод не работает, или я что-то делаю не так?

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:30 
Аватара пользователя
Формализуйте, пожалуйста, что означает фраза "Метод не работает" в данном случае.

-- Чт сен 22, 2011 12:33:06 --

И вообще изложите подробнее. Какой (из пяти имеющихся в задаче) параметр Вы оцениваете, как выглядит функция правдоподобия ну и так далее.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:55 
Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Дальше, если искать ее максимум, то получается, что он достигается, когда
$a_1=a_2$ - выборочное средние
$\sigma_2 = \sigma_1$ - выборочная дисперсия

Собственно такие результаты меня и смущают.

Насколько я понимаю, нужно доказать что метод дает неправильную оценку, каким способом - не уточняется, быть может оценка должна получится смещенной, или просто логически не правильной.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 12:15 
Аватара пользователя
Ну то есть Вы получили, что даже если параметры исходных нормальных законов не совпадают, то метод дает для них неверную оценку, которая не стремится к истинным значениям при увеличении объема выборки. Естественно, что такие оценки на практике бессмысленны.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 14:55 
Аватара пользователя
discobot в сообщении #485170 писал(а):
Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Это - не функция правдоподобия, и даже не логарифмическая, и вообще непонятно что (чем бы ни были $N(a_j,\sigma_j^2)$ в этом равенстве). Напишите функцию правдоподобия безо всяких $N(...)$, как функцию от выборки и параметров. По определению.

discobot в сообщении #485170 писал(а):
Дальше, если искать ее максимум, то получается, что он достигается, когда
...

Нет, не получается. Но сначала - функцию правдоподобия.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 17:40 
Аватара пользователя
А отчего Вы решили, что здесь ММП не работает? Собственно, для оценивания смеси распределений это едва ли не основной подход, метод моментов Пирсона требует вычисления моментов вплоть до пятого (что, при небольших выборках делает нас "заложниками выбросов") и решения уравнения девятой степени (что не страшно, но неприятно).
Только вот вместо функции правдоподобия у Вас "чтой-то непотребное".

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 18:46 
Аватара пользователя
Да, и смещённость оценки не значит, что она "не работает". Более того, ММП весьма часто даёт смещённые оценки. Скажем, ММП-оценка дисперсии смещённая.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 16:39 
Да я понял, что с функцией правдоподобия что-то не так, переделал её, но все равно ни к чему хорошему это не приводит. Человек который дал эту задачу сказал, что функцию правдоподобия здесь считать не нужно, надо просто понимать что такое правдоподобие и решить задачу логически.

На всякий случай приведу еще раз условие задачи дословно:

Пусть распределение случайной величины Х является смесью двух нормальных распределений (формула выше)
показать, что при любом числе экспериментальных данных метод максимального правдоподобия не может привести к получению правильных оценок, если оцениваются параметры $a_1$, $a_2$, $\sigma_1$ и $\sigma_2$ приизвестной пропорции смеси $p_1$

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:24 
Аватара пользователя
Кабы мы знали, что такое "правильные" оценки, да кабы Вы могли выписать функцию правдоподобия, можно было бы начать решать задачу...

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:35 
Аватара пользователя
Ну возможно имелось в виду что-то вроде следующего. Смесь распределений - это означает, что в выборке известная доля наблюдений распределены нормально с одними параметрами, а остальные наблюдения - нормально с другими параметрами. Какие именно это наблюдения - неизвестно. Может быть, отсюда можно получить требуемый вывод. Но как именно - я пока что не особо соображу.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:55 
Аватара пользователя
Нет. Имеется в виду ровно то, что написано. Распределение каждого элемента выборки имеет плотность, равную смеси плотностей, с неизвестными параметрами сдвига и масштаба хотя бы у одной плотности. Как вариант (модель совсем иная, но эффект от этого не зависит) выборка получена из либо одного такого распределения с неизвестными параметрами сдвига и масштаба, либо другого, причём смесь с известными вероятностями. (Тут было враньё, здесь не будет того же самого).
Чтобы человек увидел, что именно от него требуется, он должен начать решать задачу. Как минимум, выписать правильно функцию правдоподобия и выяснить, где у неё максимум(ы).

А проблема весьма известная, в некоторых книжках изложена.

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:25 
Вот функция правдоподобия:
$L(x,a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1N(a_1,\sigma_1) +(1-p_1)N(a_2,\sigma_2))$

-- 24.09.2011, 23:26 --

--mS-- в сообщении #486091 писал(а):
А проблема весьма известная, в некоторых книжках изложена.


Название книжки не подскажете?

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:37 
Аватара пользователя
discobot
это не функция правдоподобия.

Начнем с того (это стоило бы отметить еще с Вашего первого поста), что обозначение нормального распределения $N(a,\sigma)$ Вы совершенно напрасно используете в качестве функции. Так не пишут. Посмотрите в свое первое сообщение - там в левой части есть аргумент $x$, а в правой его нет. Тогда уж хотя бы пишите что-то вроде $N(x,a,\sigma)$ (хотя и это будет грубовато).

-- Сб сен 24, 2011 23:38:54 --

Почитайте здесь и напишите по аналогии

Функция правдоподобия

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:55 
Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

 
 
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 07:58 
Аватара пользователя
discobot в сообщении #486123 писал(а):
Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

discobot в сообщении #486118 писал(а):
Название книжки не подскажете?

Не раньше, чем Вы решите задачу с нашей помощью.

 
 
 [ Сообщений: 45 ]  На страницу 1, 2, 3  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group