Понять оценку максимального правдоподобия

[shkiper325]

Доброго времени суток. Не могу разобраться с определением ОМП. Есть стандартная формула $\widehat{\theta}(X)=argmax_{\theta}f_{\theta}(X)$, где $X$ - наблюдение, т.е. случайная величина (вектор), а $f_{\theta}$ - плотность распределения. Как брать такой $argmax_{\theta}$, ведь под этим оператором стоит случайная величина ($f_{\theta}(X)$)? Как потом эту оценку дифференцировать по $\theta$?

[Otta]

shkiper325
И что, у плотности, скажем, нельзя найти максимум и его точку?
По параметру, правда.

Вопрос у Вас несколько странный. Его мог задать только человек, который никогда не считал ОМП на практике. Так посчитайте. Вам же это в связи с чем-то надо: или в вузе, но тогда рассказывали, или... или что?

Ну или я чего-то не понимаю.

[Евгений Машеров]

Случайная величина и реализация случайной величины не синонимы. Реализация детерминированная величина.
Выигрыш по лотерейному билету до розыгрыша случайная величина, после розыгрыша - реализация случайной величины.
ММП прелполагает, что реализация нам дана.

[Евгений Машеров]

Да, и (поправляя фуражку прапорщика Ясненько, старшины роты к-на Очевидность) плотность распределения случайной велчиины тоже не случайная величина...

[shkiper325]

Otta
Готовлюсь к экзамену в вузе. ОМП считал, например, для нормального распределения с параметрами $(a, \sigma^2)$. Я не совсем понимаю, как в общем случае определяется $argmax_{\theta}f_{\theta}(X)$. Ведь под $argmax_{\theta}$ - случайная величина и на разных $\omega\in\Omega$ максимум $f_{\theta}(X(\omega))$ может достигаться при разных $\theta$.
Евгений Машеров
У нас в курсе нет реализации выборки...

[Xaositect]

shkiper325 в сообщении #1504350 писал(а):

Готовлюсь к экзамену в вузе. ОМП считал, например, для нормального распределения с параметрами $(a, \sigma^2)$. Я не совсем понимаю, как в общем случае определяется $argmax_{\theta}f_{\theta}(X)$. Ведь под $argmax_{\theta}$ - случайная величина и на разных $\omega\in\Omega$ максимум $f_{\theta}(X(\omega))$ может достигаться при разных $\theta$.

Ну так ведь и оценка $\hat{\theta}(X)$ - это ведь тоже случайная величина, она при разных $\omega$ будет разная. Для каждого $\omega$ берем свой максимум.

[shkiper325]

Xaositect
А как тогда считать производную $f_{\theta}(X(\omega))$ по $\theta$? Тоже свою при каждом фиксированном $\omega$?

[Xaositect]

Да, частная производная.

[Евгений Машеров]

В выражении $\widehat{\theta}(X)=argmax_{\theta}f_{\theta}(X)$ вообще нет случайных величин. Потому, что его используют для расчёта, когда величина X известна. Её зарегистрировали, она детерминированная. Она была случайной, а потом реализовалась, дав известную детерминированную величину. Точно так же не является случайной функция плотности распределения (хотя именно в соответствии с ней генерируются случайные величины).

[alcoholist]

shkiper325
посчитайте ОМП для чего-нибудь простого, для количества решек в серии из 5 подкидываний жульнической монеты. Просто найдите $\hat{p}(x_1,\cdots,x_n)$

[Otta]

Евгений Машеров в сообщении #1504553 писал(а):

В выражении $\widehat{\theta}(X)=argmax_{\theta}f_{\theta}(X)$ вообще нет случайных величин. Потому, что его используют для расчёта, когда величина X известна. Её зарегистрировали, она детерминированная.

Одно другому никак не противоречит. Из того, что с.в. известна, не следует, что ее нет. И $X$, и $\widehat{\theta}(X)$ -- случайные величины.

[Евгений Машеров]

А давайте различать лотерейный билет и результат розыгрыша случайную величину и реализацию случайной величины.

[Otta]

А давайте. Оценку, как любую статистику, можно понимать и так, и эдак, в зависимости от целей.
Например, при доказательстве состоятельности оценки мы работаем с ней как со случайной величиной. При доказательстве несмещенности - тоже. Ну и так далее.

[Евгений Машеров]

Безусловно. Что "и так, и эдак". Если мы изучаем общие свойства оценки случайной величины, то она является некоей известной функцией от случайной величины. Но если эта случайная величина измерена, и мы вычисляем для неё оценку, то на входе детерминированная величина, и полученное значение оценки тоже детерминированное.

[Otta]

Если случайная величина "измерена", то оценки и прочие статистические методы ей уже незачем.
Кто-то из нас кого-то не понимает.