МС, метод максимального правдоподобия, оценка параметра

[Greg_st]

Здравствуйте.
Пытаюсь расковырять задачу по вышеназванной теме, но застрял уже в первой её части - нахождении параметра $\Theta$ методом максимального правдоподобия.
Условие:
Дано дискретное распределение

$$\begin{cases} P\{1\} = \Theta \\ P\{2\} = 2\Theta \\ P\{3\} = 3\Theta \\ \end{cases}$$

Параметр $\Theta\in(0;\frac{1}{3})$. Вторую часть пока приберегу - хочу сам покопать, прежде чем спрашивать.

Итак, суть проблемы. Если я ещё помню курс теории вероятностей, то $\Theta$ здесь равна $\frac{1}{6}$ (Сумма вероятностей Р будет равна единице). Но от меня требуется использовать строго определенный метод, а потому продолжаем.
Само распределение можно представить в виде:

$$ p_x = x\Theta $$

И функция максимального правдоподобия для выборки в n элементов данного распределения равна:

$$ L = \prod\limits_{i = 1}^{n}x_i \Theta^n $$

На этом шаге уже очевидно, что $\Theta$ в нуле производной по $\Theta$ не равна $\frac{1}{6}$. Более того - она равна нулю, что отдельно сбивает меня с толку.
Собственно, этот момент мне и не понятен. Вроде рассуждения элементарны, а ошибку в них найти не могу.

[Henrylee]

Когда ставится задача об оценке неизвестного параметра подразумевается наличие параметрического семейства распределений. У Вас же никакого семейства нет, а есть единственное распределение, где $\Theta$ определяется однозначно. ПОэтому нет никакой задачи об оценке параметра. Либо же Вы предъявили неверное условие

-- Ср май 27, 2015 00:07:06 --

Ситуацию можно улучшить добавлением ещеодного атома распределения:

$$ \Prob\{4\}=1-6\Theta, $$

правда тут $\Theta\in[0,1/6]$

[Otta]

Скорее, $P(X=3)=1-3\Theta$.

[Henrylee]

Otta в сообщении #1020206 писал(а):

Скорее, $P(X=3)=1-3\Theta$.

О! ) Точно )) Прозевал такую очевидную опечатку

[Greg_st]

Странно. Постараюсь поскорее уточнить, быть может и правда вкралась ошибка в условие. Благодарю за ответы.
Можно тему пару дней открытой подержать?

[Henrylee]

Тут как бы темы и не закрываются навсегда

[Greg_st]

Да, всё-таки условие выдали с ошибкой. Заменили на Ваш вариант.

Otta в сообщении #1020206 писал(а):

$P(X=3)=1-3\Theta$

Итак, пытаюсь составить функцию правдоподобия.

$$ L = \prod\limits_{i=1}^{n}(x_i\Theta) \prod\limits_{j=1}^{k}(1 - x_j\Theta) $$

Здесь $n$ элементов выборки имеют распределение $x\Theta$ и $k$ элементов - $1 - x\Theta$.
Логарифмируем.

$$ \ln L = n\ln\Theta + \sum\limits_{i=1}^{n}\ln x_i + \sum\limits_{j=1}^{k}\ln (1 - x_j\Theta) $$

Я двигаюсь в верном направлении? Пока слабо представляю, как буду из производной этой функции вытаскивать $\Theta$.

[Otta]

А всего сколько в выборке элементов?

[--mS--]

Greg_st в сообщении #1020918 писал(а):

Итак, пытаюсь составить функцию правдоподобия.

$$ L = \prod\limits_{i=1}^{n}(x_i\Theta) \prod\limits_{j=1}^{k}(1 - x_j\Theta) $$

Здесь $n$ элементов выборки имеют распределение $x\Theta$ и $k$ элементов - $1 - x\Theta$.

Присоединяюсь к предыдущему вопросу, но, кроме него: зачем таскать внутри скобок $x_j$, если они все во втором произведении равны тройке? Напишите по-русски: только-то раз перемножается $\theta$, столько-то раз перемножается $1-3\theta$.

[Greg_st]

Ошибку понял, зря усложнял себе жизнь.
Переписываю функцию:

$$ L = \theta^{n_1}(2\theta)^{n_2}(1 - 3\theta)^{n_3} $$

$n_1$, $n_2$, $n_3$ - количество элементов "1", "2" и "3" соответственно. Логарифмирую. Беру производную по $\theta$, приравниваю к 0.
Получаю:

$$ \theta = \frac{n_1 + n_2}{3(n_1 + n_2 + n_3)} $$

А вот теперь вторая часть задания, которую я хотел припрятать, да не вышло. Необходимо проверить, является ли эта оценка эффективной в смысле неравенства Рао-Крамера.
Для эффективной в этом смысле оценки необходимо, чтобы выполнялось равенство:

$$ D(\hat{\theta}) = \frac{1}{nI(\theta)} $$

Где $n = n_1 + n_2 + n_3$

Нахожу $I(\theta)$:

$$ I(\theta) = \frac{1}{\theta^2}\theta + \frac{4}{4\theta^2}2\theta + \frac{(-3)^2}{(1 - 3\theta)^2}(1 - 3\theta) = \frac{3}{\theta(1 - 3\theta)} $$

А дальше у меня никак не выходит найти $D(\hat{\theta})$. Проблем с определениями дисперсии и мат. ожидания не имею, но решительно не понимаю, как связать их с реальными "цифрами". Точнее - не понимаю, как привязать их именно к этому параметру.
Пока что пробую "в лоб", из определений, полученных ещё в ТВ для дискретных величин.

Уточню - затруднение вызывает именно привязка определений мат. ожидания и дисперсии к реалиям МС.

UPD.
Вышеобозначенные действия "в лоб":
Нахожу мат. ожидание распределения, в которое подставляется найденный параметр. Тут же нахожу мат. ожидание квадрата и дисперсию.

$$ M = \frac{5(n_1 + n_2) + 9n_3}{3n} M_2 = \frac{3(n_1 + n_2) + 9n_3}{n} D = \frac{4(n_1 + n_2) + 18n_3}{3n} $$

И... либо я ткнул мимо, либо неправильно понял условие эффективности по Рао-Крамеру.

[Greg_st]

Прозевал квадрат, когда вычислял дисперсию:

$$ D = \frac{2(n_1 + n_2)(9n - 8(n_1 + n_2))}{9n^2} = \frac{2(n_1 + n_2)(n + 8n_3)}{9n^2} $$

[--mS--]

Greg_st в сообщении #1021583 писал(а):

Получаю:

$$ \theta = \frac{n_1 + n_2}{3(n_1 + n_2 + n_3)} $$

Это параметр или всё-таки оценка?

Greg_st в сообщении #1021583 писал(а):

Уточню - затруднение вызывает именно привязка определений мат. ожидания и дисперсии к реалиям МС.

UPD.
Вышеобозначенные действия "в лоб":
Нахожу мат. ожидание распределения, в которое подставляется найденный параметр. Тут же нахожу мат. ожидание квадрата и дисперсию.

$$ M = \frac{5(n_1 + n_2) + 9n_3}{3n} M_2 = \frac{3(n_1 + n_2) + 9n_3}{n} D = \frac{4(n_1 + n_2) + 18n_3}{3n} $$

Непонятно, о какой привязке речь. Случайная величина - она и в Африке случайная величина, и в матстатистике. Каким образом в математическом ожидании распределения участвуют случайные величины $n_1$, $n_2$ и $n_3$? Сколько у исходного распределения значений? С какими вероятностями принимаются? Математическое ожидание дискретной с.в. искать умеете?

Если же речь о дисперсии оценки, то замените $n_1+n_2$ на $n-n_3$ и воспользуйтесь свойствами дисперсии и знанием (надеюсь) распределения случайной величины $n_3$.

[Greg_st]

Цитата:

Это параметр или всё-таки оценка?

Оценка. Метод максимального правдоподобия на выходе даёт оценку. Немного запутался в терминологии.

Цитата:

Каким образом в математическом ожидании распределения участвуют случайные величины $n_1$, $n_2$ и $n_3$?

Мат. ожидание дискретного распределения вычисляется по формуле (в нашем случае $n = 3$, а $p_i$ вместе с их значениями указаны в шапке):

$$ \sum\limits_{i=1}^{n}x_i p_i $$

Соответственно, $n_1$, $n_2$ и $n_3$ появились, когда я подставил полученное ранее $\Theta$ в мат. ожидание. Насколько понимаю, делать этого не следовало.
Пока что не совсем понимаю связи между свойствами дисперсии и распределением величины $n_3$. Единственное свойство, которому видно применение - это вычисление через мат. ожидание случайной величины и мат. ожидание квадрата случайной величины, которым я уже воспользовался.

Возможно, я не так выразился - по отдельности теорию МС и ТВ, насколько могу судить, я знаю (а что не помню - легко восполняется справочником\учебниками\интернетом). Проблемы возникают на стыке, когда с разных позиций можно одну и ту же величину назвать по разному.
Вот я вычислил дисперсию распределения, в которое вместо неизвестного параметра подставил оценку $\Theta$. Это дисперсия оценки? Или всё ещё дисперсия распределения? Такая операция вообще имеет смысл?

[Otta]

Greg_st в сообщении #1021669 писал(а):

Оценка. Метод максимального правдоподобия на выходе даёт оценку. Немного запутался в терминологии.

Так обозначьте ее как оценку.

Greg_st в сообщении #1021583 писал(а):

Нахожу мат. ожидание распределения, в которое подставляется найденный параметр.

Распределения или все-таки оценки? Пишите обозначения полностью, иначе непонятно, о чем речь.
Если Вы собрались (как это и полагается) считать м.о. оценки, то без осознания

--mS-- в сообщении #1021637 писал(а):

распределения случайной величины $n_3$.

не обойтись. То есть обойтись-то можно, но это самый простой способ. Понятно, что $M\hat\theta$ должно зависеть от $\theta$, а не от неведомых никому $n_1,\,n_2\,n_3$.

[Greg_st]

Сам запутался окончательно и, кажется, Вас запутал.

Сейчас вчитался внимательнее в позапрошлый комментарий.

Цитата:

распределения случайной величины $n_3$

Но ведь

Цитата:

$n_1$, $n_2$, $n_3$ - количество элементов "1", "2" и "3" соответственно. Логарифмирую. Беру производную по $\theta$, приравниваю к 0.
Получаю:

$$ \hat{\theta} = \frac{n_1 + n_2}{3(n_1 + n_2 + n_3)} $$

$n_3$ у нас - количество троек в выборке. Разве это случайное число? Мы же работаем с фиксированной выборкой размером $n = n_1 + n_2 + n_3$