2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:24 


17/09/11
33
Плотность случайной величины - сумма двух нормальных распределений с разными параметрами.
$p(x) = p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2)$
Нужно доказать что метод максимального правдоподобия с таким распределением работать не будет.

Собственно, я максимизирую функцию правдоподобия и получается, что параметры распределений совпадают. Можно ли считать что это и доказывает что с таким распределением метод не работает, или я что-то делаю не так?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:30 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Формализуйте, пожалуйста, что означает фраза "Метод не работает" в данном случае.

-- Чт сен 22, 2011 12:33:06 --

И вообще изложите подробнее. Какой (из пяти имеющихся в задаче) параметр Вы оцениваете, как выглядит функция правдоподобия ну и так далее.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 11:55 


17/09/11
33
Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Дальше, если искать ее максимум, то получается, что он достигается, когда
$a_1=a_2$ - выборочное средние
$\sigma_2 = \sigma_1$ - выборочная дисперсия

Собственно такие результаты меня и смущают.

Насколько я понимаю, нужно доказать что метод дает неправильную оценку, каким способом - не уточняется, быть может оценка должна получится смещенной, или просто логически не правильной.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 12:15 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Ну то есть Вы получили, что даже если параметры исходных нормальных законов не совпадают, то метод дает для них неверную оценку, которая не стремится к истинным значениям при увеличении объема выборки. Естественно, что такие оценки на практике бессмысленны.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 14:55 
Заслуженный участник
Аватара пользователя


23/11/06
4171
discobot в сообщении #485170 писал(а):
Простите.
Оцениваются параметры $\sigma_1, \sigma_2, a_1, a_2$ a при известной пропорции смеси $p_1$.
Функция Правдоподобия :
$L(x) = \sum\limits_{i=1}^n x_i(p_1 N(a_1,\sigma_1^2) + (1-p_1)N(a_2, \sigma_2^2))$\\

Это - не функция правдоподобия, и даже не логарифмическая, и вообще непонятно что (чем бы ни были $N(a_j,\sigma_j^2)$ в этом равенстве). Напишите функцию правдоподобия безо всяких $N(...)$, как функцию от выборки и параметров. По определению.

discobot в сообщении #485170 писал(а):
Дальше, если искать ее максимум, то получается, что он достигается, когда
...

Нет, не получается. Но сначала - функцию правдоподобия.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 17:40 
Заслуженный участник
Аватара пользователя


11/03/08
9489
Москва
А отчего Вы решили, что здесь ММП не работает? Собственно, для оценивания смеси распределений это едва ли не основной подход, метод моментов Пирсона требует вычисления моментов вплоть до пятого (что, при небольших выборках делает нас "заложниками выбросов") и решения уравнения девятой степени (что не страшно, но неприятно).
Только вот вместо функции правдоподобия у Вас "чтой-то непотребное".

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение22.09.2011, 18:46 
Заслуженный участник
Аватара пользователя


11/03/08
9489
Москва
Да, и смещённость оценки не значит, что она "не работает". Более того, ММП весьма часто даёт смещённые оценки. Скажем, ММП-оценка дисперсии смещённая.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 16:39 


17/09/11
33
Да я понял, что с функцией правдоподобия что-то не так, переделал её, но все равно ни к чему хорошему это не приводит. Человек который дал эту задачу сказал, что функцию правдоподобия здесь считать не нужно, надо просто понимать что такое правдоподобие и решить задачу логически.

На всякий случай приведу еще раз условие задачи дословно:

Пусть распределение случайной величины Х является смесью двух нормальных распределений (формула выше)
показать, что при любом числе экспериментальных данных метод максимального правдоподобия не может привести к получению правильных оценок, если оцениваются параметры $a_1$, $a_2$, $\sigma_1$ и $\sigma_2$ приизвестной пропорции смеси $p_1$

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:24 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Кабы мы знали, что такое "правильные" оценки, да кабы Вы могли выписать функцию правдоподобия, можно было бы начать решать задачу...

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:35 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Ну возможно имелось в виду что-то вроде следующего. Смесь распределений - это означает, что в выборке известная доля наблюдений распределены нормально с одними параметрами, а остальные наблюдения - нормально с другими параметрами. Какие именно это наблюдения - неизвестно. Может быть, отсюда можно получить требуемый вывод. Но как именно - я пока что не особо соображу.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 20:55 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Нет. Имеется в виду ровно то, что написано. Распределение каждого элемента выборки имеет плотность, равную смеси плотностей, с неизвестными параметрами сдвига и масштаба хотя бы у одной плотности. Как вариант (модель совсем иная, но эффект от этого не зависит) выборка получена из либо одного такого распределения с неизвестными параметрами сдвига и масштаба, либо другого, причём смесь с известными вероятностями. (Тут было враньё, здесь не будет того же самого).
Чтобы человек увидел, что именно от него требуется, он должен начать решать задачу. Как минимум, выписать правильно функцию правдоподобия и выяснить, где у неё максимум(ы).

А проблема весьма известная, в некоторых книжках изложена.

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:25 


17/09/11
33
Вот функция правдоподобия:
$L(x,a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1N(a_1,\sigma_1) +(1-p_1)N(a_2,\sigma_2))$

-- 24.09.2011, 23:26 --

--mS-- в сообщении #486091 писал(а):
А проблема весьма известная, в некоторых книжках изложена.


Название книжки не подскажете?

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:37 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
discobot
это не функция правдоподобия.

Начнем с того (это стоило бы отметить еще с Вашего первого поста), что обозначение нормального распределения $N(a,\sigma)$ Вы совершенно напрасно используете в качестве функции. Так не пишут. Посмотрите в свое первое сообщение - там в левой части есть аргумент $x$, а в правой его нет. Тогда уж хотя бы пишите что-то вроде $N(x,a,\sigma)$ (хотя и это будет грубовато).

-- Сб сен 24, 2011 23:38:54 --

Почитайте здесь и напишите по аналогии

Функция правдоподобия

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение24.09.2011, 22:55 


17/09/11
33
Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

 Профиль  
                  
 
 Re: Доказать что метод макс. правдоподобия работает не всегда.
Сообщение25.09.2011, 07:58 
Заслуженный участник
Аватара пользователя


23/11/06
4171
discobot в сообщении #486123 писал(а):
Вот так:
$L(x|a_1,a_2,\sigma_1,\sigma_2) = \prod\limits_{i=0}^{n}x_i(p_1\frac{1}{\sqrt{2\pi \sigma_1^2}} e^{-\frac{(x-a_1)^2}{2\sigma_1^2}}} +(1-p_1)\frac{1}{\sqrt{2\pi \sigma_2^2}} e^{-\frac{(x-a_2)^2}{2\sigma_2^2}}})$

Что за $x$ в аргументе у функции? Откуда взялись множители $x_i$?
Определение дайте функции правдоподобия.

discobot в сообщении #486118 писал(а):
Название книжки не подскажете?

Не раньше, чем Вы решите задачу с нашей помощью.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 45 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group