2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Вопрос про правдоподобие и информацию Фишера
Сообщение23.10.2015, 10:38 


12/10/15

174
Дошел до функции правдоподобия - вроде все просто, извлекаем логарифм из плотности нормального распределения. Вопрос в следующем - а какую дополнительную информацию несет такая операция по сравнению с самой плотностью нормального распределения? И в чем здесь правдоподобие (пока не вижу каких-либо преимуществ опять же по сравнению с самим нормальным распределением - если какое-либо распределение похоже на нормальное, его ведь и можно трактовать как правдоподобное)?

Далее - почему получившаяся функция называется "информацией", тоже вроде понятно - так же, как информация Шеннона, она является логарифмом от числа состояний. Где практическое применение информации Фишера в отличие от информации Шеннона?

 Профиль  
                  
 
 Re: Вопрос про правдоподобие и информацию Фишера
Сообщение23.10.2015, 11:33 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Вопрос тут не в логарифмировании, логарифмируют для удобства выкладок, получая логарифмическую функцию правдоподобия, log-likelihood (но можно работать и с нелогарифмированной, хотя почти всегда это намного усложняет). А в том, что мы рассматриваем не распределение вероятностей случайной величины при выбранных значениях параметра, а функцию от параметра при наблюдённых значения случайной величины
$L(\theta|x)=P(x|\theta)$

-- 23 окт 2015, 11:34 --

(Оффтоп)

В светском уложении правдоподобие равняется правде
(А.С.Пушкин, "Гости съезжались на дачу")

 Профиль  
                  
 
 Re: Вопрос про правдоподобие и информацию Фишера
Сообщение23.10.2015, 13:05 


07/10/15

2400
Все эти вещи имеют вполне конкретное назначение, а именно - применяются в оптимизации по методу максимального правдоподобия
по этому методу оптимальными считаются параметры, при которых функция правдоподобия принимает максимальное значение
чтобы найти этот максимум - функция правдоподобия дифференцируется и решается система уравнений
$ grad(L(x|a_1,a_2,a_3,...a_n))=0$
если эта система решается численно, то согласно методу Ньютона требуется вычислить матрицу вторых производных (матрица Гёссе)
$H=grad(grad(L(x|a_1,a_2,a_3,...a_n)))=$
алгоритм уточнения параметров такой:
$ V[k+1]=V[k]-H^{-1}grad(L(x|a_1,a_2,a_3,...a_n))$,
где $V=(a_1,a_2,a_3,...a_n)^T$ - вектор уточняемых параметров

для логарифмической функции правдоподобия
$\frac{\partial^2 L}{\partial a^2_i}=(\frac{\partial L}{\partial a_i})^2$
в этом и есть её основное удобство, позволяющее ограничится однократным дифференцированием

информационная матрица Фишера - это математическое ожидание второй производной, или , как чаще встречается - квадрата производной, логарифмической функции правдоподобия
$I(a_1, a_2, ...a_n)=E(grad(grad(L(x|a_1,a_2,a_3,...a_n))))$,
т.е. она может использоваться в алгоритме оптимизации вместо мгновенного значения матрицы Гёссе, но главная её роль состоит в том, что по ней определяется верхняя граница дисперсии полученных оценок (согласно неравенству Крамера - Рао). При этом рассматриваются только её диагональные элементы.
Что касается информации Шеннона - то у этого показателя совсем другое предназначение, хотя для нормального распределения эти показатели насколько я помню совпадают.

 Профиль  
                  
 
 Re: Вопрос про правдоподобие и информацию Фишера
Сообщение23.10.2015, 15:51 


12/10/15

174
Евгений Машеров в сообщении #1065716 писал(а):
А в том, что мы рассматриваем не распределение вероятностей случайной величины при выбранных значениях параметра, а функцию от параметра при наблюдённых значения случайной величины
$L(\theta|x)=P(x|\theta)$


И если распределение этих наблюдаемых значений непохоже на нормальное, то как ведет себя эта функция? (Вот еще чуть-чуть, и я пойму, при чем здесь правдоподобие :wink: )

 Профиль  
                  
 
 Re: Вопрос про правдоподобие и информацию Фишера
Сообщение23.10.2015, 19:45 
Заслуженный участник


05/08/14
1564
Функция правдоподобия должна строиться по плотности распределения "наблюдаемых значений", если они "непохожи на нормальное", то у вас должны быть какие-то предположения о типе распределения и именно его функциональный вид использовать в правдоподобии.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group