Тестирование метода максимального правдоподобия

[VPro]

Александрович в сообщении #1505007 писал(а):

Попытался при известных параметрах функции нормального распределения ММП найти их по выборке.
1. Задал значения вероятностей p_i \left\{ 0,1; \; 0,2; \; ... \; 0,9 \right\}
2. Задал значение матожидания и ско для нормальной функции распределения m=12;\; \sigma=3.
3. Нашёл значения плотности распределения f_i для каждого p_i и логарифмическую функцию правдоподобия L=\sum\limits_{1}^{9} \ln(f_i).
Она максимальна при m=12;\; \sigma \approx 2,319, то есть оценка \sigma оказалась смещенная.
У меня вопрос почему так происходит и как это учесть?

Ваша методика проверки ММП некорректна. ММП оценивает неизвестные параметры распределения отказов непосредственно по имеющейся выборке $x_1, x_2, \dots x_n$. В качестве оценки параметров распределения берутся значения, максимизирующие вероятность появления этой выборки, т.е. величину $\prod_{k=1}^{n}{f(x_k)}$. Функция максимального правдоподобия есть логарифм от этой вероятности.
Чтобы проверить метод, Вы должны были случайным образом сгенерировать значения $x_k$ по заданному закону и подставить их в функцию плотности с неопределенными параметрами. А затем минимизировать функцию двух переменных:
L(m,\sigma)=\sum \ln(f(x_k,m,\sigma).
Надеюсь, Вы понимаете, что взятая Вами выборка с равноотстоящими значениями вероятности практически невозможна для нормального закона.

[DeBill]

VPro
Это уже было: точно так я наезжал в самом начале - и был неправ: ТС в качестве $x_k$ берет прообразы точек $p_k$ при отображении $F$, где $F$ - функция распределения (а $F_{\xi} (\xi)$, как известно, именно что равномерно распределена на $[0,1]$ - так что все честно тут). Другое дело - насколько хорошо интегральная сумма с равномерной сеткой аппроксимирует тот интеграл...Может , с четными номерами, брать дважды точки - это будет похоже на Симпсона (а в концевых точках - отражать несобственность интеграла) - и все равно будет аппроксимировать равномерное распределение - тогда, может, будет получше согласование....

[Александрович]

VPro в сообщении #1505160 писал(а):

Надеюсь, Вы понимаете, что взятая Вами выборка с равноотстоящими значениями вероятности практически невозможна для нормального закона.

Это не совсем случайная выборка, а набор известных значений - матожиданий порядковых статистик, назовём её эталонной выборкой.

-- Вт фев 16, 2021 07:12:19 --

DeBill
Может быть в крайних точках что-то не то? Ведь среднее значение находится достаточно точно $m\approx11,999996.$
По ММ для эталонной выборки $\sigma\approx2,645863$, а по ММП $\sigma\approx2,645865.$ А если учесть что количество степеней свободы уменьшилось на 2, и домножить ско на $\sqrt{\frac{ 9 }{ 9-2 } } \approx 1,134$, то получится $\sigma\approx3,0004.$

[Евгений Машеров]

Александрович в сообщении #1505200 писал(а):

Ведь среднее значение находится достаточно точно $m\approx11,999996.$

Оно "по построению" находится точно. Берутся симметрично расположенные относительно 12 точки и вычисляется их среднее.

[Евгений Машеров]

Теперь откуда занижение для сигмы. В "правильном" эксперименте берутся случайные точки, вычисляется оценка и повторяется много раз. Вариативность точек не пренебрегается. В Вашем вместо набора случайных точек фигурирует их матожидание. То есть то, что сгенерированные точки могут от МО далеко убегать - не учитывается. Что для "внутренних" интервалов непринципиально, а для двух крайних даже очень.
Разобьём область изменения нашей переменной на 10 интервалов, как у Вас. Два имеют нижней и верхней, соответственно, границей $-\infty$ и $+\infty$, прочие границы интервалов между выбранными Вами точками (матожиданиями порядковых статистик, я для простоты взял первоначальный вариант Ваш).
Для каждого интервала можно вычислить $\int_a^b x^2 \varphi(x) dx$, это легко берётся по частям, давая $\int_a^b x^2 \varphi(x) dx=\Phi(b)-\Phi(a)-b\varphi(b)+a\varphi(a)$ Просуммировав по всем интервалам, должны получить единицу. А теперь сравним с отношениями полученной для каждого интервала величины к величинам $\frac {p_i^2} n$
2.072745086
0.991894841
0.962223817
0.973166491
1.244759385
1.244759385
0.973166491
0.962223817
0.991894841
2.072745086
То есть почти везде Ваша оценка выглядит довольно точной, но более чем вдвое занижается вклад краёв. Если бы Вы моделировали бы при помощи случайных величин, то редкие большие отклонения на краях внесли бы нужное, но у Вас изменчивость вовсе пренебрежена.

[DeBill]

Александрович в сообщении #1505137 писал(а):

Сделал следующий подход, уточнил формулу для $p_i$

Равномерное распределение на отрезке $[0,1]$ имеет среднее 0.5 и дисперсию $\frac{1}{12}$.
Равномерное дискретное на точках $0.1,0.2,...., 0.9$ имеет среднее 0.5 и дисперсию $\frac{1}{15}$, так что оно не слишком удачно моделирует равномерное непрерывное (12:15=0.8, так что коэффициент "занижения " равен примерно 0.9).
После "уточнения", дисперсия будет $\frac{1}{12.86}$ - да, стало лучше. Но всетки краевые эффекты в несобственном интеграле существенны...

[Александрович]

Евгений Машеров в сообщении #1505361 писал(а):

В Вашем вместо набора случайных точек фигурирует их матожидание.

А поправки Шеппарда не помогут?

[Евгений Машеров]

Поправки Шеппарда ещё более занизят.

[VPro]

Если для тестирования метода, предназначенного для случайных выборок, можно самому задавать точки, то возьмите всего две точки $x_1=m-\sigma,\ x_2=m+\sigma$ и точные результаты Вам гарантированы. Вы почему-то остановились на выборке, гарантирующей только точную оценку параметра положения.

[Александрович]

Точно. Крайние члены ряда можно не учитывать.

[Евгений Машеров]

В определённом смысле это задача численного интегрирования. Разбили на интервалы и суммируем. Но интеграл несобственный, два крайних интервала бесконечны. Если моделировать "как положено", генерируя случайные члены выборки, то будет метод Монте-Карло, и осмысленный ответ. Но если считать, как во внутренних интервалах, беря значение в произвольной точке внутри интервала (скажем, в середине), то для крайних интервалов получится фигня. Отсюда и странные цифры. Согласно приведенному выше расчёту - если в качестве "значения в типичной точке интервала" брать значение, отступающее от внутренней границы интервала на полуширину внутреннего интервала - вдвое ниже правильного, хотя для внутренних такой подход даёт нечто разумное.