Оценить методом макс. правдоподобия

[мат-ламер]

На счёт средне-арифметического. В качестве оценки для $\theta=1$ бралась статистика $Z=\frac{ \sum X_i}{2n}$ . Средний квадрат ошибки этой оценки составил $M(Z-1)^2=\frac{1}{12n}$ . Что существенно больше, чем для оценки по ММП.

[zykov]

мат-ламер в сообщении #1539456 писал(а):

Средний квадрат ошибки этой оценки оказался равен $M(Z_n-1)^2=M\left( \frac{2X_n+1}{3}-1\right) ^2 = \frac {8}{9(n+1)(n+2)}$

Интересно, а если попробовать correction for bias? Или тут это $b_h$ и так автоматом нулём оказалось?

Вообще MLE эффективен, там есть доказанные свойства. Другое дело, применять его затруднительно, если это не простые модели, как Гаусс или равномерное распределение.
Даже если например взять просто смесь двух Гауссов с разными неизвестными параметрами - с вероятностью $p$ берётся значение из первого Гаусса, с вероятностью $1-p$ берётся из второго. То нужно максимизацией найти 5 параметров - $p$ и две пары среднее/сигма. Кроме как Ньютоном по этому большому выражению (выражение по всей выборке) не сделать.

Можете ради любопытства попробовать взять $p=\frac13$, $\mu_1=1$, $\sigma_1=1$, $\mu_2=3$, $\sigma_2=3$, сгенерировать выборку на $10^3-10^6$ и оценить по выборке эти 5 параметров.

[zykov]

zykov в сообщении #1539518 писал(а):

взять $p=\frac13$, $\mu_1=1$, $\sigma_1=1$, $\mu_2=3$, $\sigma_2=3$

Лучше увеличить $\mu_2=6$, а то выборка огромная нужна будет.

[--mS--]

мат-ламер в сообщении #1539509 писал(а):

Что существенно больше, чем для оценки по ММП.

Нет никакого смысла брать оценку, которая не является функцией от достаточной статистики $(X_{(1)},X_{(n)})$. Она заведомо хуже в с.к.с.

[zykov]

--mS-- в сообщении #1539529 писал(а):

от достаточной статистики $(X_{(1)},X_{(n)})$.

А что это такое?

[--mS--]

Я уверена, что определения можно найти в любом учебнике по математической статистике.

Статистика $S=S(X_1,\ldots,X_n)$ называется достаточной статистикой для параметра $\theta$, если существует вариант условного распределения $\mathsf P(\vec X \in B \mid S)$, который не зависит от параметра $\theta$.

Факторизационная теорема Неймана -- Фишера. Статистика $S$ является достаточной для параметра $\theta$, если функция правдоподобия $L(\theta; \vec X)$ (п.н.) представима в виде

$$ L(\theta; \vec X) = h(\vec X) \cdot \Psi(\theta, S), $$

где каждая из функций зависит только от указанных аргументов.

Теорема Блэквелла -- Рао -- Колмогорова. Если статистика $S$ является достаточной, то для любой оценки $\theta^*$ (c конечной дисперсией) оценка $\theta^{**}=\mathsf E(\theta^*\mid S)$ не хуже в с.к.с., чем $\theta^*$ (такая же только если совпадают п.н.)

УМО $\theta^{**}=\mathsf E(\theta^*\mid S)$ даёт оценку, которая является функцией от $S$ (п.н.) Соответственно, наилучшими в с.к.с. могут быть только функции от достаточных статистик.

[zykov]

А можно пример?
Вот здесь в случае оценки параметра через максимум, что будет достаточной статистикой и как оценка (максимум поделить на 3) будет функцией от этой статистики?

[--mS--]

Я же выписала достаточную статистику: пара - минимум и максимум. Оценка тут ни при чём, достаточная статистика строится по распределению выборки. Максимум делить на 3 - функция от пары (минимум, максимум).

[zykov]

А как показать, что "пара - минимум и максимум" - это достаточная статистика?

[--mS--]

По факторизационной теореме. Функцию правдоподобия выписать можете?

$$L(\theta, \vec X) = \dfrac{1}{(2\theta)^n}\cdot I(X_{(1)} \leqslant \theta) \cdot I(X_{(n)} \geqslant 3\theta) =\Psi (\theta, X_{(1)}, X_{(n)}).$$

В качестве $h$ можно взять $1$.

[zykov]

Спасибо, понятно.
А что это за обозначение $I(q)$? Видимо $I(X_{(1)} \leq \theta) = H(X_{(1)} - \theta)$, где $H$ - функция Хевисайда.

[--mS--]

Нету никаких там $I(q)$. Есть индикатор события $A$:

$$ I(A) =\begin{cases} 1, & \omega \in A, \cr 0, & \omega\not\in A.\end{cases} $$

(Оффтоп)

Предваряя следующий вопрос: $\omega$ - элементарный исход

[zykov]

Если $X_{(1)}$ - это минимум, то наверно должно быть $I(X_{(1)} \geq \theta)$ вместо $I(X_{(1)} \leq \theta)$?

[--mS--]

Ну да, и максимум, наоборот, меньше. Сено-солома.