Оценить методом макс. правдоподобия

[Евгений Машеров]

Вычислительный эксперимент. Сравнивались оценки:
максимум, делённый на 3 (ММП)
минимум
среднее этих оценок
середина размаха
среднее арифметическое.
Объём выборки 10:
Наименьшее смещение у середины размаха, за ним среднее, далее, на порядок хуже ММП, наименьшая дисперсия у ММП, за ним середина размаха и среднее. Прочие хуже.
Объём выборки 20:
Наименьшее смещение у середины размаха, за ним, вдвое хуже, среднее (знаки смещения разные), ММП на порядок хуже. Наименьшая дисперсия у ММП, середина размаха и среднее на 6-7% выше.
Объём выборки 50:
Наименьшее смещение у середины размаха, среднее немного хуже, ММП смещение больше на порядок. Наименьшая дисперсия у ММП, середина размаха и среднее на 3% выше.
Объём выборки 100:
Наименьшее смещение у середины размаха, среднее на порядок хуже, ММП на два порядка. Наименьшая дисперсия у ММП, среднее и середина размаха больше на примерно 1%.
Число испытаний 100000, ГСЧ rand из MATLAB

[--mS--]

Невероятно то что Вы говорите про смещение.

$$\mathsf E X_{(n)} = \theta + (3\theta-\theta)\cdot \frac{n}{n+1}, $$

$$\mathsf E X_{(1)} = \theta + (3\theta-\theta)\cdot \frac{1}{n+1},$$

поэтому смещение оценки $X_{(n)}/3$ равно

$$b_{\text{ММП}}(\theta) = \frac{\theta}3 +\frac{2\theta}3\cdot \frac{n}{n+1} - \theta = -\dfrac{2\theta}{3(n+1)}. $$

Смещение оценки $(X_{(n)}-X_{(1)})/2$ равно

$$b_{\text{середина размаха}}(\theta) =\frac{ \theta + 2\theta\cdot \frac{n}{n+1} - \theta - 2\theta\cdot \frac{1}{n+1}}2 - \theta=-\dfrac{2\theta}{n+1}.$$

Что втрое больше.

(Оффтоп)

А что ММП лучше в среднеквадратичном, у меня все студенты к субботе в домашнем задании докажут.

[Евгений Машеров]

--mS-- в сообщении #1539338 писал(а):

Смещение оценки $(X_{(n)}-X_{(1)})/2$ равно

Там +, в "середине размаха".

[--mS--]

Размах - расстояние между порядковыми статистиками. И поскольку максимум - состоятельная оценка для $3\theta$, минимум - для $\theta$, то именно $\frac{X_{(n)}-X_{(1)}}{2}$ - состоятельная оценка для $\theta$. Использование же полусуммы ниже всякой критики - она даже не состоятельна. И смещение у неё вообще гигантское и к нулю не стремится.

[мат-ламер]

Евгений Машеров
Напишите, пожалуйста, какую выборку вы оцениваете? Какими оценками вы пользуетесь, вы написали. Но, что именно вы оцениваете, никак не уловлю.

[Евгений Машеров]

Тем не менее середина размаха - достаточно популярная оценка и её свойства интересны. Поскольку в данном случае её матожидание равно $2\theta$, то поделив на два, получаем оценку тэты. И, как показал расчёт, вполне рабочую.

[мат-ламер]

мат-ламер в сообщении #1539346 писал(а):

Евгений Машеров
Напишите, пожалуйста, какую выборку вы оцениваете? Какими оценками вы пользуетесь, вы написали. Но, что именно вы оцениваете, никак не уловлю.

Евгений Машеров в сообщении #1539299 писал(а):

Сравнивались оценки:
максимум, делённый на 3 (ММП)

А, понял. Вы генерировали равномерное распределение на $[\theta ,3\theta]$ , где $\theta$ заранее задано и оценивали его же (то есть то, что обсуждалось в теме).

-- Пн ноя 15, 2021 21:19:51 --

Евгений Машеров в сообщении #1539299 писал(а):

Объём выборки 100:
Наименьшее смещение у середины размаха, среднее на порядок хуже, ММП на два порядка.

Как-то странно. Надо будет проверить.

[Евгений Машеров]

мат-ламер в сообщении #1539346 писал(а):

Напишите, пожалуйста, какую выборку вы оцениваете? Какими оценками вы пользуетесь, вы написали. Но, что именно вы оцениваете, никак не уловлю.

Равномерное распределение обсуждаемого в задаче вида. Тэта принята равной единице. Генерируются выборки разного объёма, считаются оценки, сравниваются с известной величиной. Кто хочет поискать у меня ошибки (не смею гарантировать, что нет - но не нашёл), могу выслать матлабовский скрипт (завтра, он на работе). Ну, ещё можно грешить на тамошний ГСЧ, но вряд ли.

[мат-ламер]

Евгений Машеров
Спасибо за ответ! Я тут по быстренькому набросал программку. У меня все оценки показывают примерно одинаковое качество.

[мат-ламер]

мат-ламер в сообщении #1539377 писал(а):

У меня все оценки показывают примерно одинаковое качество.

При очень большом повторении эксперимента всё стало на свои места. Оценка МП, рассматриваемая в теме (треть максимума) удела всех с большим преимуществом. Её дисперсия (относительно теоретического значения $\theta=1$ ) в 6.7 раз лучше, чем оценка по размаху наблюдений. Та, в свою очередь, в 1.44 раза лучше чем среднее арифметическое. Что и следовало ожидать.

[Евгений Машеров]

А можно подробности? Сколько повторений - "много"? Размер выборки? Смещение считали?

[artempalkin]

мат-ламер в сообщении #1539390 писал(а):

Оценка МП, рассматриваемая в теме (треть максимума) удела всех с большим преимуществом. Её дисперсия (относительно теоретического значения $\theta=1$ ) в 6.7 раз лучше, чем оценка по размаху наблюдений. Та, в свою очередь, в 1.44 раза лучше чем среднее арифметическое. Что и следовало ожидать.

А минимум не смотрели?

[мат-ламер]

Евгений Машеров в сообщении #1539413 писал(а):

А можно подробности? Сколько повторений - "много"? Размер выборки? Смещение считали?

Подробности выложу чуть позже. Интересно будет сравнить теоретические результаты с результатами, полученными при моделировании. По крайней мере это будет мне интересно с целью вспомнить, что когда-то проходил. Хотя кое для кого это будут азбучные истины. Но надеюсь, что тапками не закидают. Повторений было по-разному. В конце было аж 10 миллионов. Результаты, что я приводил, просто уточнялись. Объём выборки был 100. Смещение пока не считал. Ясно, что оценка через максимум будет смещённая, но не асимптотически. То есть она будет асимптотически несмещённая состоятельная оценка.

artempalkin в сообщении #1539420 писал(а):

А минимум не смотрели?

Минимум не смотрел. Но ясно, что там дисперсия оценки будет повыше.

[мат-ламер]

Промежуточные результаты. Пусть случайная величина $\xi$ равномерно распределена на $[0,1]$ . И пусть $X_1,...,X_n$ - выборка из этой случайной величины, упорядоченная по возрастанию. Тогда $X_n$ имеет функцию распределения $F_n(x)=x^n$ на интервале $[0,1]$ и очевидно понятно какую вне его. Центральные моменты $X_n$ будут следующие: $MX_n=\frac{n}{n+1}$ , $MX_n^2=\frac{n}{n+2}$ .

[мат-ламер]

Итак, моделировалась задача из стартового поста, причём полагалось $\theta=1$ . Таким образом, генерировалось равномерное распределение на $[1,3]$ и в качестве оценки $\theta$ бралась величина $Z_n=Y_n \slash 3$ , где $Y_n$ - максимальное из наблюдений. Оценка получается немного смещённой, но асимптотически несмещённой. Средний квадрат ошибки этой оценки оказался равен $M(Z_n-1)^2=M\left( \frac{2X_n+1}{3}-1\right) ^2 = \frac {8}{9(n+1)(n+2)}$ (здесь $X_n$ - порядковая статистика из прошлого поста), что полностью совпало с результатами моделирования.