Метод максимального правдоподобия

[Gevin Magnus]

Почему ММП для выборки из неизвестного нормального распределения дает смещенную оценку для дисперсии? Он же вроде как основан на фундаментальных вещах - теореме Байеса, почему же он дает ошибочный результат?

-- 19.03.2024, 18:57 --

Наверное это связано с тяжелым хвостом для апостериорного распределения дисперсий? Там же по гиперболе будет убывать

[ozheredov]

Gevin Magnus в сообщении #1633409 писал(а):

Он же вроде как основан на фундаментальных вещах - теореме Байеса

В смысле на формуле Байеса? Чтобы наивероятнеейшее значение неизвестного параметра совпало с оценкой МП, его априрное распределение должно быть равномерным (ну хотя бы на разумном отрезке). И вот тут будет разный результат в зависимости от того, что считать неизвестным параметром - СКО или дисперсию (если у с.в. распределение равномерное, то у ее квадрата/корня - нет).

[Gevin Magnus]

Gevin Magnus в сообщении #1633409 писал(а):

Наверное это связано с тяжелым хвостом для апостериорного распределения дисперсий? Там же по гиперболе будет убывать

Хотя не, это только для выборки из одного элемента

ozheredov в сообщении #1633415 писал(а):

И вот тут будет разный результат в зависимости от того, что считать неизвестным параметром - СКО или дисперсию (если у с.в. распределение равномерное, то у ее квадрата/корня - нет).

Пусть будет дисперсия

[Евгений Машеров]

0. ММП на теореме Байеса не основан. Он, в определённом смысле, байесовскому оцениванию противоположен. Байес предполагает, что значения параметров случайны с известным распределением, и надо оценить значение в данном опыте, опираясь на это распределение и на результаты опыта. В ММП значения параметров предполагаются однозначно определёнными, хоть и неизвестными.
1. "Ошибочный результат" и "результат с ошибкой" не синонимы. "Ошибочный" - тот, которым нельзя пользоваться. "С ошибкой" - имеет отклонения от точного значения, что следует учитывать при использовании. В статистике результатов "без ошибки" не бывает (ну, разве что число элементов выборки нам точно известно).
2. Ошибки бывают разные, причём настолько разные, что их невозможно проранжировать, указав лучшую. Несмещённость - один из критериев, сужающих выбор метода оценивания, так что в нём можно уже выбрать наилучшую (скажем, имеющую минимальную дисперсию). Но при этом она может оказаться очень плоха по иному критерию (скажем, если нам важна робастность - то прекрасная оценка матожидания, несмещённая и с минимальной дисперсией, среднее арифметическое, может быть решительно скверной; а медиана удовлетворительна).
3. ММП ищет максимум функции правдоподобия. Максимум функции плотности распределения, выворачиванием которой наизнанку получена функция правдоподобия, есть мода. А мода и матожидание могут не совпадать, гарантировано совпадение лишь для симметричных одномодальных. Для дисперсии же, как сказано в классическом произведении, "правый хвост длиннее". То есть модальное значение и матожидание не совпадают. Соответственно, различаются и оценки, исходящие из разных критериев, и оптимальная по одному не удовлетворяет другому (и наоборот). Более того, можно рассмотреть и комбинированный критерий, дисперсия плюс квадрат смещения (квадрат гипотенузы, однако, правда, товарищ Пифагор?), и тогда получим третий вариант, где сумма квадратов отклонений от среднего делится не на n, как в ММП, и не на $n+1$, как при несмещённом оценивании дисперсии, а на $n+1$, и это не ошибка, а ещё один вариант из множества.
4. Если мы подвергаем переменную нелинейному преобразованию, преобразуется и её функция распределения, причём мода, матожидание и т.п. сдвигаются по-разному. И так как корень квадратный это нелинейное преобразование, то получить несмещённую оценку СКО, извлекая корень из несмещённой оценки дисперсии, не получается.

[Евгений Машеров]

Поздно заметил очепятку. Для несмещённого делится, разумеется, на $n-1$. Сорри.
Для стандартного отклонения универсальной для всех распределений поправки не существует, для нормального надо делить на поправочный коэффициент $c_{4}(N)\,=\,{\sqrt {\frac {2}{N-1}}}\,\,\,{\frac {\Gamma \left({\frac { N}{2}}\right)}{\Gamma \left({\frac {N-1}{2}}\right)}}$, приближённая поправка выглядит, как ${\hat {\sigma }}={\sqrt {{\frac {1}{N-1.5}}\sum _{i=1}^{N}\left(x_{i}-{\bar {x}}\right)^{2}}}$