Нормальное распределение. Оценки наибольшего правдоподобия.

[tech]

Здравствуйте. Имеется следующее задание:
1) Пусть элементы выборки $x_1, . . . , x_n$ имеют нормальное распределение $N(\mu,\sigma^2)$. Найти оценки наибольшего правдоподобия параметров $\mu$ и $\sigma$.
В общем, нахожу, получаю:
$\mu^*=\frac1n{\sum_{i=1}^n x_i};\ {\sigma^2}^*=\frac1n{\sum_{i=1}^n (x_i-\mu)^2}$
Собственно вопрос в том, как быть с математическим ожиданием в оценке $\sigma^2$ ? Считать, что мат. ожидание как бы известно? Ведь если я заменю там мат. ожидание на его оценку, то оценка дисперсии уже не будет оценкой наибольшего правдоподобия.
2) В другом задании просят использовать нормальное приближение биномиального закона распределения при $n=50,\ p=\frac{1}{500}$
Используя интегральную теорему Муавра-Лапласа, получаю, что $P(0\le\xi\le50) \approx 0,62$, где $\xi$ – число "успехов" в n испытаниях.
Прав ли я, утверждая, что в таком случае нормальное приближение несостоятельно?

[ShMaxG]

tech в сообщении #861633 писал(а):

Считать, что мат. ожидание как бы известно?

Известно оно или нет должно быть прописано в постановке задачи. Если известно, то вы все нашли верно. Если неизвестно, то (как можно показать) вместо известного значения $\mu$ будет стоять оценка $\mu^*$, и это будет оценка наибольшего правдоподобия.

-- Вс май 11, 2014 12:25:49 --

tech в сообщении #861633 писал(а):

В другом задании просят использовать нормальное приближение биномиального закона распределения при $n=50,\ p=\frac{1}{500}$

Использовать для чего, какое задание?

tech в сообщении #861633 писал(а):

Прав ли я, утверждая, что в таком случае нормальное приближение несостоятельно?

Что такое состоятельность приближения?

[ewert]

tech в сообщении #861633 писал(а):

Прав ли я, утверждая, что в таком случае нормальное приближение несостоятельно?

Не знаю, состоятельно или нет (всё-таки "состоятельность" -- это вполне определённый термин), но неадекватность этого приближения очевидна безо всякого счёта: достаточно уже того, что сигма меньше единицы, не говоря уж о матожидании.

[tech]

ShMaxG в сообщении #861641 писал(а):

Если неизвестно, то (как можно показать) вместо известного значения $\mu$ будет стоять оценка $\mu^*$, и это будет оценка наибольшего правдоподобия.

А как это можно показать?

ShMaxG в сообщении #861641 писал(а):

Использовать для чего, какое задание?

Оценить вероятность того, что число "успехов" в 50 испытаниях будет не менее 3, использовав нормальное и пуассоновское приближения, а также сравнить результаты.

ewert в сообщении #861645 писал(а):

Не знаю, состоятельно или нет (всё-таки "состоятельность" -- это вполне определённый термин), но неадекватность этого приближения очевидна безо всякого счёта

Именно это (неадекватность) я и имел в виду. Спасибо.

[Otta]

tech в сообщении #861713 писал(а):

А как это можно показать?

А как Вы до этого искали оценку наибольшего правдоподобия?

[tech]

Otta,
Записал функцию правдоподобия, прологарифмировал. Взял производную сначала по $\mu$, потом по $\sigma^2$, приравнял к нулю, выразил.

[Otta]

Ну а тут что мешает?
Кстати, изложенный Вами способ - как раз для случая, когда оба параметра неизвестны. Если $\mu$ - известно, то зачем по нему дифференцировать? Это постоянная.

[ShMaxG]

tech
Когда неизвестны оба параметра распределения, то вы ищете оценку максимального правдоподобия для вектора $(\mu,\sigma^2)$. Дифференцируете по обеим переменным и получаете систему двух уравнений на $\mu$ и $\sigma^2$. Они все же не по-отдельности рассматриваются.

[tech]

ShMaxG
А, вот в чём дело, нужно было рассматривать это как систему. Выходит, что если ни $\mu$, ни $\sigma^2$ неизвестны, то тот ответ
$\mu^*=\frac1n{\sum_{i=1}^n x_i};\ {\sigma^2}^*=\frac1n{\sum_{i=1}^n (x_i-\mu)^2}$
вообще-то даже и неверный, а верный ответ должен выглядеть вот так:
$\mu^*=\frac1n{\sum_{i=1}^n x_i};\ {\sigma^2}^*=\frac1n{\sum_{i=1}^n (x_i-\mu^*)^2}$
Спасибо.

[Otta]

tech в сообщении #861756 писал(а):

А, вот в чём дело, нужно было рассматривать это как систему. Выходит, что если ни $\mu$, ни $\sigma^2$ неизвестны, то тот ответ
$\mu^*=\frac1n{\sum_{i=1}^n x_i};\ {\sigma^2}^*=\frac1n{\sum_{i=1}^n (x_i-\mu)^2}$
вообще-то даже и неверный,

И об этом легко было догадаться. $\mu$ неизвестно, как будете считать ${\sigma^2}^*=\frac1n\sum_{i=1}^n (x_i-\mu)^2$?

[tech]

Otta,
Я, в общем-то, догадывался.
Но загвоздка была в том, чтобы доказать, что на месте этого $\mu$ должна стоять $\mu^*$. А оказалось, что и доказывать ничего не надо, потому что ${\sigma^2}^*$ и ${\mu}^*$ находятся одновременно из одной системы.
Не знаю, насколько хорошо получилось объяснить причину моих затруднений.

[Otta]

Ну да, неизвестный параметр размерности 2, так что функция правдоподобия зависит от двух аргументов, так что необходимое условие локального экстремума (его же ищем, да?)) - равенство нулю частных производных по обоим, осталось проверить достаточное для полного счастья, убедиться, что максимум, и всё.

(Оффтоп)

Меня преследует ощущение, что все пытаются запомнить алгоритм, причем неудачно, поскольку забывают, в чем его смысл и зачем он вообще. :(

[tech]

Otta

(Оффтоп)

Возможно, проблема также в том, что мы ещё не изучали экстремумы функций двух переменных. Поэтому выполнял по алгоритму, да. Теперь стало ясней и понятней, что я делал на самом деле.

[Otta]

(Оффтоп)

А. Ну если так, то Вам и будет затруднительно проверять достаточное условие. Разве сами где-то прочитаете.

[ShMaxG]

tech в сообщении #861713 писал(а):

Оценить вероятность того, что число "успехов" в 50 испытаниях будет не менее 3, использовав нормальное и пуассоновское приближения, а также сравнить результаты.

Берете сумму независимых бернуллиевских случайных величин, она будет распределена по биномиальному закону:

$$\[{S_n} = \sum\limits_{i = 1}^n {{\xi _i}} \in \mathrm{Bi(n,p)}. \] $$

Известно, что при $np = \lambda + o(1), \ n \to \infty$ сходится по распределению $S_n \to S \in \mathrm{Po}(\lambda)$. Короче говоря, для того, чтобы воспользоваться пуассоновским приближением, просто считайте, что $S_n \in \mathrm{Po}(np)$ для ваших конкретных $n$ и $p$. Распределение известно, значит можете посчитать вероятность чего угодно. С другой стороны, по теореме Муавра-Лапласа имеет место сходимость по распределению

$$\[\frac{{{S_n} - {\bf{E}}{S_n}}}{{\sqrt {{\bf{D}}{S_n}} }} \to \eta \in \mathrm{N}\left( {0,1} \right), \ n\to\infty.\]$$

Это значит, что если вы хотите воспользоваться нормальным приближением, то просто считайте, что

$$\[\frac{{{S_n} - {\bf{E}}{S_n}}}{{\sqrt {{\bf{D}}{S_n}} }} \in \mathrm{N(0,1)}.\]$$

Отсюда получите распределение $S_n$. Зная распределение, считайте нужную вероятность.

Ну а дальше все зависит от того, что подразумевается под "сравнить". Для этого, например, можете посчитать точное значение вероятности, т.е. не пользуясь никакими приближениями (благо это не трудно) и посмотреть, какое из приближений оказалось ближе к точному значению.