2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Гессиан функции правдоподобия
Сообщение29.03.2016, 09:29 


27/10/09
602
Друзья!

Решается задача нелинейной регрессии (может быть термин "регрессия" здесь не совсем корректен) методом наименьших расстояний [Айвазян и др., Прикладная статистика: исследование зависимостей; Грешилов, Математические методы принятия решений]. Немного обсуждалась в теме взвешенная регрессия. В общем виде условие задачи можно сформулировать так: переменные $X$ ($p_X$ штук) и переменные $Y$ ($p_Y$ штук) связаны уравнением $F(X,Y,\Theta)=0$. Параметры $\Theta$ ($m$ штук) неизвестны, их нужно оценить по экспериментальным данным. Есть выборка $(W,V)$, $W$ размерностью $n \times p_X$, $V$ размерностью $n \times p_Y$ экспериментальных данных, при этом элементы матрицы $V$ известны точно (можно записать $V=Y$), а элементы матрицы $W$ измерены с погрешностью, эксперимент пассивный, т.е. $W$ измерены после проведения эксперимента. Предполагается, что ошибки измерений подчиняются многомерному нормальному распределению с нулевым центром и ковариационными матрицами $M_i$, известными для каждого отдельного эксперимента, т.е. $W_i=X_i+\xi_i$, где $\xi_i$ подчиняется $N(0,M_i)$, $n=1..n$. Необходимо получить точечную и интервальную оценку вектора параметров $\Theta$. Функция правдоподобия в этом случае запишется как $$L=\prod_{i=1}^n \left( \frac{1}{2 \pi} \right)^{p_X/2} \left( \frac{1}{\left| \sigma^2 M_i \right|} \right)^{1/2} \exp \left[-\frac{1}{2}\left(W_i-X_i \right) \left(\sigma^2 M_i \right)^{-1}\left(W_i-X_i \right)' \right]$$Оценки $\Theta$ могут быть найдены минимизацией $-\log L$ с условиями $F(X_i,V_i,\Theta)=0, i=1..n$. Фактически, это приводит к методу минимальных расстояний, где расстояния от точки эксперимента $W_i$ до аппроксимирующей функции $X_i$ считается как расстояние Махаланобиса. Получение точечных оценок не составляет труда, одновременно получим оценки $\sigma^2$ и матрицы $X$. Для получения интервальных оценок нужно получить матрицу вторых и смешанных производных функции $-\log L$ по $\Theta$ (матрицу Гессе). Но сложность в том, что $-\log L$ в явном виде не зависит от $\Theta$, зависит опосредованно через условия $F(X_i,V_i,\Theta)=0, i=1..n$.

Вопрос в том, как в таком случае получить матрицу Гессе? Можно ли ее получить через производные (первые, вторые, смешанные) $-\log L$ по $X_{i,j},j=1..p_X$ и $F(X_i,V_i,\Theta)=0, i=1..n$ по $X_{i,j},j=1..p_X$ и по $\Theta$?

Извиняюсь, что длинно получилось.

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение29.03.2016, 09:32 


20/03/14
12041
AndreyL в сообщении #1110114 писал(а):
Есть выборка $(X1,Y1)$, $X1$

Давайте индексы запишем, как принято.

 Профиль  
                  
 
 Posted automatically
Сообщение29.03.2016, 10:55 


20/03/14
12041
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

См. выше. Пожалуйста. Нечитабельно.

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

 Профиль  
                  
 
 Posted automatically
Сообщение30.03.2016, 10:38 


20/03/14
12041
 i  Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение30.03.2016, 11:03 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
Весь текст "ниасилил", но вопрос мучает: почему отвергается стандартное вычисление производных неявной функции?

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение30.03.2016, 11:11 


27/10/09
602
Brukvalub в сообщении #1110470 писал(а):
почему отвергается стандартное вычисление производных неявной функции?
Не совсем понял. Неявные функции тут $F(X_i,V_i,\Theta)=0$, в которых есть и $X_i$ и $\Theta$. Но в $L$, чей Гессиан и требуется найти, вообще нет $\Theta$, в том и сложность.

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение30.03.2016, 11:33 
Заслуженный участник
Аватара пользователя


01/03/06
13626
Москва
Как-то странно все это. Если речь идет о дифференцировании неявной функции, то этому на мехмате МГУ на 1-м курсе учат, см., например, раздел 6-й параграф 3 в задачнике Демидовича. Но, может, я что-то не уловил в постановке задачи. :oops:

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение30.03.2016, 12:52 


27/10/09
602
Может я чего не понимаю, но функция $- \log L$, Гессиан которой требуется найти, не есть неявно заданная функция, она задана вполне явно, но, к сожалению, не от тех переменных, по которым ищется Гессиан.

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение18.10.2016, 07:21 


27/10/09
602
Попробую переписать задачу в таком виде:
Есть функция $Q=\frac{(w_1-x_1)^2}{s_1}+\frac{(w_2-x_2)^2}{s_2}$, при этом $w_1, w_2,s_1,s_2$ известны, а $x_1$ и $x_2$ находятся из условия минимума $Q$ при $a_0+a_1 x_1+a_2 x_2=0$. Как найти производные $\frac{\partial^2 Q}{\partial a_1^2}$ и $\frac{\partial^2 Q}{\partial a_1 \partial a_2}$?

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение18.10.2016, 08:42 
Заслуженный участник


05/08/14
1564
Из ограничения выразить $x_2$ через $a_1, x_1,a_2$, подставить в $Q$, продифференцировать.

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение18.10.2016, 09:03 


27/10/09
602
А как учесть условие минимума $Q$, ведь $x_1$ тоже неизвестен? А если ограничение $a_0+a_1 x_1+a_2 x_2=0$ заменить на $F(x_1, x_2,a_0,a_1,a_2)=0$, при этом ни $x_1$, ни $x_2$ напрямую не выражаются?

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение18.10.2016, 22:53 
Заслуженный участник


05/08/14
1564
Минимум $Q$ по какой переменной? Что такое х и что такое а? Что есть коэффициенты и что параметры?

 Профиль  
                  
 
 Re: Гессиан функции правдоподобия
Сообщение19.10.2016, 08:16 


27/10/09
602
Полностью задача обрисована в первом посте, но там длинно написано, поэтому попытался взять кусочек той задачи.

Сформулируем так: найти Гессиан функции $Q=\frac{(w_1-x_1)^2}{s_1}+\frac{(w_2-x_2)^2}{s_2}$ в точке минимума по $a_0, a_1, a_2$ (это параметры), с условием $F(x_1, x_2,a_0,a_1,a_2)=0$, $w_1, w_2,s_1,s_2$ известны. Гессиан нужен только по параметрам $a_0, a_1, a_2$, внутренние переменные $x_1$ и $x_2$ никого не интересуют, но в реальной задаче их не две, а заметно больше. И условий тоже может быть не одно.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Shadow


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group