Тестирование метода максимального правдоподобия

[Александрович]

Попытался при известных параметрах функции нормального распределения ММП найти их по выборке.
1. Задал значения вероятностей p_i \left\{ 0,1; \; 0,2; \; ... \; 0,9 \right\}
2. Задал значение матожидания и ско для нормальной функции распределения m=12;\; \sigma=3.
3. Нашёл значения плотности распределения f_i для каждого p_i и логарифмическую функцию правдоподобия L=\sum\limits_{1}^{9} \ln(f_i).
Она максимальна при m=12;\; \sigma \approx 2,319, то есть оценка \sigma оказалась смещенная.
У меня вопрос почему так происходит и как это учесть?

[DeBill]

Т.е., вопрос, типа, такой: "Известен средний рост мальчиков. Взяли 10 девочек, и сосчитали их средний рост - а он не такой. Что бы это значило?". Мне кажется, ответ тут такой: Это - не мальчики. Или не совсем мальчики. Или неправильные мальчики...

[Александрович]

DeBill в сообщении #1505013 писал(а):

Т.е., вопрос, типа, такой: "Известен средний рост мальчиков. Взяли 10 девочек, и сосчитали их средний рост - а он не такой. Что бы это значило?"

Вопрос такой. Известен средний рост 10-ти вполне конкретных мальчиков. Взяли этих самых мальчиков, и сосчитали их средний рост - а он не такой. Что бы это значило?

-- Вс фев 14, 2021 14:29:46 --

Кажись понял. Сейчас проверю.

[Евгений Машеров]

Александрович в сообщении #1505007 писал(а):

Нашёл значения плотности распределения f_i для каждого p_i

Что бы это значило?

[Александрович]

Евгений Машеров, $p_i$ это перцентиль, в моём случае дециль. $x_i=F^{-1}(p_i)$. $F(x)$ - функция нормального распределения, $f_i=f(x_i)$ - плотность функции распределения.

[Евгений Машеров]

ММП-оценка имеет право не быть несмещёной. То, что иногда оказывается ею (как для матожидания и нормального закона) - чистая удача.
В частности, несмещённая оценка дисперсии будет $\sigma_{unbiased}^2=\frac 1 {n-1}\Sigma(x_i-\bar{x})^2$, ММП-оценка $\sigma_{MML}^2=\frac 1 n\Sigma(x_i-\bar{x})^2$, при этом минимум среднеквадратичной ошибки даёт $\sigma_{MQE}^2=\frac 1 {n+1}\Sigma(x_i-\bar{x})^2$
Собственно, как раз 10% погрешности и выходит...

[Александрович]

Видимо неправильно выбран ряд с $p_i$, см. пункт 2. в стартовом посте. Попробовал иной путь. Нагенерировал 10 выборок объёмом 9 с $m=12$ и \sigma=3.$
Для каждой нашёл $m$ и $\sigma.
В среднем получил $m\approx 12,4; \sigma\approx 3,22.$

[Евгений Машеров]

Вот это методически правильный подход. Генерировать выборки, по каждой строить оценки, и уже совокупность оценок исследовать. Правда, 10 выборок маловато, 10000 ещё ничего... Первоначальный подход пытался обойтись одной выборкой, элементы которой были равны матожиданиям элементов вариационного ряда. Это. конечно. неверно, но грубую оценку даёт.
Заниженность в таком подходе оценки для дисперсии обусловлена тем, что изменчивость отдельных элементов вариационного ряда пренебрегается.
Во втором подходе, с генерацией выборок (и побольше! побольше!) такого систематического занижения нет. А что полученная оценка больше заложенного при генерации случайных чисел значения - ну так оценка МП в данном случае смещённая, она завышена в $\frac n {n-1}$ раз, теоретически должно бы быть 3.375, отличие от реально полученного в пределах ошибки имитационного эксперимента из-за малого числа реализаций.

[Александрович]

Евгений Машеров в сообщении #1505038 писал(а):

Правда, 10 выборок маловато, 10000 ещё ничего...

Дело в том что я вручную максимум ищу.

-- Вс фев 14, 2021 21:02:18 --

Евгений Машеров в сообщении #1505038 писал(а):

Первоначальный подход пытался обойтись одной выборкой, элементы которой были равны матожиданиям элементов вариационного ряда. Это. конечно. неверно,

Думаю что это не совсем матожидания порядковых статистик.

[Евгений Машеров]

Тогда и 10 это мазохизм. Такие вещи надо на компе делать. Хотя именно для ММП и случая нормального распределения смысл только педагогический, такие расчёты имеют смысл, когда распределения экзотические и/или оценки очень хитроумные, и аналитически свойства не получаются, только численный эксперимент.

[Александрович]

Евгений Машеров в сообщении #1505040 писал(а):

Такие вещи надо на компе делать.

Конечно на компе, только вручную, то есть не создавая специальных программ. Короче пользуясь только возможностями Эксель.

[Евгений Машеров]

Александрович в сообщении #1505039 писал(а):

Думаю что это не совсем матожидания порядковых статистик.

Асимптотические матожидания. Для конечной выборки, безусловно, будут отличаться, но если не брать совсем уж экзотические распределения, то не сильно.
https://en.wikipedia.org/wiki/Order_statistic

[DeBill]

Александрович в сообщении #1505024 писал(а):

$p_i$ это перцентиль, в моём случае дециль. $x_i=F^{-1}(p_i)$. $F(x)$ - функция нормального распределения, $f_i=f(x_i)$ - плотность функции распределения.

Ой, я дико извиняюсь - почему то решил, что Вы Эти самые $f_i$ считали в точках $p_i$ - так текст можно было понять. Ну, а если как здесь - то вроде как и должно быть хорошо. Потому что что может быть лучше походить на равномерное распределение, нежели Ваши $p_i$....
Впрочем, ММП дает только асимптотически несмещенную оценку - ну, уже писали точные формулы.

Но если по честному считать для Вашего искуственного способа выбора точек, то получается оценка для матожидания - точная, а для $\sigma^2$ - равная $C\sigma^2, C=\frac{1}{n}\sum\limits_{i=1}^{n} ((\Phi)^{-1}(p_i))^2$, где $p_i=\frac{i}{n+1}$. Это похоже на интегральную сумму для интеграла $I=\int\limits_{0}^{1}((\Phi)^{-1}(p))^2dp$ (надо еще множитель $\frac{n}{n+1}$, и пределы чуток поправить). Но интеграл заменой $p=\Phi(x)$ сводится к $\int\limits_{-\infty}^{\infty} x^2 \varphi(x)dx$, равному дисперсии стандарта (т.е., 1).
Неприятность (несовпадение с тем, что хотелось) может проистекать из-за того, что для несобственного интеграла $I$ его интегральная сумма может и не очень быть похожей на интеграл....

[Евгений Машеров]

DeBill в сообщении #1505080 писал(а):

Ой, я дико извиняюсь - почему то решил, что Вы Эти самые $f_i$ считали в точках $p_i$ - так текст можно было понять.

Ну вот я тоже не понял, потому и переспросил.

[Александрович]

Евгений Машеров в сообщении #1505038 писал(а):

Первоначальный подход пытался обойтись одной выборкой, элементы которой были равны матожиданиям элементов вариационного ряда. Это. конечно. неверно, но грубую оценку даёт.

Сделал следующий подход, уточнил формулу для $p_i$, чтобы $i$-тый квантиль поточнее бы равнялся матожиданию $i$-вой порядковой статистики. $p_i\approx\frac {i-0.374}{9+0.256}$
В этом случае ММП дает $m\approx 12,000$ и $\sigma\approx2,646$.