Гессиан функции правдоподобия

[AndreyL]

Друзья!

Решается задача нелинейной регрессии (может быть термин "регрессия" здесь не совсем корректен) методом наименьших расстояний [Айвазян и др., Прикладная статистика: исследование зависимостей; Грешилов, Математические методы принятия решений]. Немного обсуждалась в теме взвешенная регрессия. В общем виде условие задачи можно сформулировать так: переменные $X$ ($p_X$ штук) и переменные $Y$ ($p_Y$ штук) связаны уравнением $F(X,Y,\Theta)=0$. Параметры $\Theta$ ($m$ штук) неизвестны, их нужно оценить по экспериментальным данным. Есть выборка $(W,V)$, $W$ размерностью $n \times p_X$, $V$ размерностью $n \times p_Y$ экспериментальных данных, при этом элементы матрицы $V$ известны точно (можно записать $V=Y$), а элементы матрицы $W$ измерены с погрешностью, эксперимент пассивный, т.е. $W$ измерены после проведения эксперимента. Предполагается, что ошибки измерений подчиняются многомерному нормальному распределению с нулевым центром и ковариационными матрицами $M_i$, известными для каждого отдельного эксперимента, т.е. $W_i=X_i+\xi_i$, где $\xi_i$ подчиняется $N(0,M_i)$, $n=1..n$. Необходимо получить точечную и интервальную оценку вектора параметров $\Theta$. Функция правдоподобия в этом случае запишется как

$$L=\prod_{i=1}^n \left( \frac{1}{2 \pi} \right)^{p_X/2} \left( \frac{1}{\left| \sigma^2 M_i \right|} \right)^{1/2} \exp \left[-\frac{1}{2}\left(W_i-X_i \right) \left(\sigma^2 M_i \right)^{-1}\left(W_i-X_i \right)' \right]$$

Оценки $\Theta$ могут быть найдены минимизацией $-\log L$ с условиями $F(X_i,V_i,\Theta)=0, i=1..n$. Фактически, это приводит к методу минимальных расстояний, где расстояния от точки эксперимента $W_i$ до аппроксимирующей функции $X_i$ считается как расстояние Махаланобиса. Получение точечных оценок не составляет труда, одновременно получим оценки $\sigma^2$ и матрицы $X$. Для получения интервальных оценок нужно получить матрицу вторых и смешанных производных функции $-\log L$ по $\Theta$ (матрицу Гессе). Но сложность в том, что $-\log L$ в явном виде не зависит от $\Theta$, зависит опосредованно через условия $F(X_i,V_i,\Theta)=0, i=1..n$.

Вопрос в том, как в таком случае получить матрицу Гессе? Можно ли ее получить через производные (первые, вторые, смешанные) $-\log L$ по $X_{i,j},j=1..p_X$ и $F(X_i,V_i,\Theta)=0, i=1..n$ по $X_{i,j},j=1..p_X$ и по $\Theta$?

Извиняюсь, что длинно получилось.

[Lia]

AndreyL в сообщении #1110114 писал(а):

Есть выборка $(X1,Y1)$, $X1$

Давайте индексы запишем, как принято.

[Lia]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

См. выше. Пожалуйста. Нечитабельно.

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Lia]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

[Brukvalub]

Весь текст "ниасилил", но вопрос мучает: почему отвергается стандартное вычисление производных неявной функции?

[AndreyL]

Brukvalub в сообщении #1110470 писал(а):

почему отвергается стандартное вычисление производных неявной функции?

Не совсем понял. Неявные функции тут $F(X_i,V_i,\Theta)=0$, в которых есть и $X_i$ и $\Theta$. Но в $L$, чей Гессиан и требуется найти, вообще нет $\Theta$, в том и сложность.

[Brukvalub]

Как-то странно все это. Если речь идет о дифференцировании неявной функции, то этому на мехмате МГУ на 1-м курсе учат, см., например, раздел 6-й параграф 3 в задачнике Демидовича. Но, может, я что-то не уловил в постановке задачи.

[AndreyL]

Может я чего не понимаю, но функция $- \log L$, Гессиан которой требуется найти, не есть неявно заданная функция, она задана вполне явно, но, к сожалению, не от тех переменных, по которым ищется Гессиан.

[AndreyL]

Попробую переписать задачу в таком виде:
Есть функция $Q=\frac{(w_1-x_1)^2}{s_1}+\frac{(w_2-x_2)^2}{s_2}$, при этом $w_1, w_2,s_1,s_2$ известны, а $x_1$ и $x_2$ находятся из условия минимума $Q$ при $a_0+a_1 x_1+a_2 x_2=0$. Как найти производные $\frac{\partial^2 Q}{\partial a_1^2}$ и $\frac{\partial^2 Q}{\partial a_1 \partial a_2}$?

[dsge]

Из ограничения выразить $x_2$ через $a_1, x_1,a_2$, подставить в $Q$, продифференцировать.

[AndreyL]

А как учесть условие минимума $Q$, ведь $x_1$ тоже неизвестен? А если ограничение $a_0+a_1 x_1+a_2 x_2=0$ заменить на $F(x_1, x_2,a_0,a_1,a_2)=0$, при этом ни $x_1$, ни $x_2$ напрямую не выражаются?

[dsge]

Минимум $Q$ по какой переменной? Что такое х и что такое а? Что есть коэффициенты и что параметры?

[AndreyL]

Полностью задача обрисована в первом посте, но там длинно написано, поэтому попытался взять кусочек той задачи.

Сформулируем так: найти Гессиан функции $Q=\frac{(w_1-x_1)^2}{s_1}+\frac{(w_2-x_2)^2}{s_2}$ в точке минимума по $a_0, a_1, a_2$ (это параметры), с условием $F(x_1, x_2,a_0,a_1,a_2)=0$, $w_1, w_2,s_1,s_2$ известны. Гессиан нужен только по параметрам $a_0, a_1, a_2$, внутренние переменные $x_1$ и $x_2$ никого не интересуют, но в реальной задаче их не две, а заметно больше. И условий тоже может быть не одно.