Вопрос про правдоподобие и информацию Фишера

[valambar]

Дошел до функции правдоподобия - вроде все просто, извлекаем логарифм из плотности нормального распределения. Вопрос в следующем - а какую дополнительную информацию несет такая операция по сравнению с самой плотностью нормального распределения? И в чем здесь правдоподобие (пока не вижу каких-либо преимуществ опять же по сравнению с самим нормальным распределением - если какое-либо распределение похоже на нормальное, его ведь и можно трактовать как правдоподобное)?

Далее - почему получившаяся функция называется "информацией", тоже вроде понятно - так же, как информация Шеннона, она является логарифмом от числа состояний. Где практическое применение информации Фишера в отличие от информации Шеннона?

[Евгений Машеров]

Вопрос тут не в логарифмировании, логарифмируют для удобства выкладок, получая логарифмическую функцию правдоподобия, log-likelihood (но можно работать и с нелогарифмированной, хотя почти всегда это намного усложняет). А в том, что мы рассматриваем не распределение вероятностей случайной величины при выбранных значениях параметра, а функцию от параметра при наблюдённых значения случайной величины
$L(\theta|x)=P(x|\theta)$

-- 23 окт 2015, 11:34 --

(Оффтоп)

В светском уложении правдоподобие равняется правде
(А.С.Пушкин, "Гости съезжались на дачу")

[Andrey_Kireew]

Все эти вещи имеют вполне конкретное назначение, а именно - применяются в оптимизации по методу максимального правдоподобия
по этому методу оптимальными считаются параметры, при которых функция правдоподобия принимает максимальное значение
чтобы найти этот максимум - функция правдоподобия дифференцируется и решается система уравнений
$ grad(L(x|a_1,a_2,a_3,...a_n))=0$
если эта система решается численно, то согласно методу Ньютона требуется вычислить матрицу вторых производных (матрица Гёссе)
$H=grad(grad(L(x|a_1,a_2,a_3,...a_n)))=$
алгоритм уточнения параметров такой:
$ V[k+1]=V[k]-H^{-1}grad(L(x|a_1,a_2,a_3,...a_n))$,
где $V=(a_1,a_2,a_3,...a_n)^T$ - вектор уточняемых параметров

для логарифмической функции правдоподобия
$\frac{\partial^2 L}{\partial a^2_i}=(\frac{\partial L}{\partial a_i})^2$
в этом и есть её основное удобство, позволяющее ограничится однократным дифференцированием

информационная матрица Фишера - это математическое ожидание второй производной, или , как чаще встречается - квадрата производной, логарифмической функции правдоподобия
$I(a_1, a_2, ...a_n)=E(grad(grad(L(x|a_1,a_2,a_3,...a_n))))$,
т.е. она может использоваться в алгоритме оптимизации вместо мгновенного значения матрицы Гёссе, но главная её роль состоит в том, что по ней определяется верхняя граница дисперсии полученных оценок (согласно неравенству Крамера - Рао). При этом рассматриваются только её диагональные элементы.
Что касается информации Шеннона - то у этого показателя совсем другое предназначение, хотя для нормального распределения эти показатели насколько я помню совпадают.

[valambar]

Евгений Машеров в сообщении #1065716 писал(а):

А в том, что мы рассматриваем не распределение вероятностей случайной величины при выбранных значениях параметра, а функцию от параметра при наблюдённых значения случайной величины
$L(\theta|x)=P(x|\theta)$

И если распределение этих наблюдаемых значений непохоже на нормальное, то как ведет себя эта функция? (Вот еще чуть-чуть, и я пойму, при чем здесь правдоподобие )

[dsge]

Функция правдоподобия должна строиться по плотности распределения "наблюдаемых значений", если они "непохожи на нормальное", то у вас должны быть какие-то предположения о типе распределения и именно его функциональный вид использовать в правдоподобии.