Матричное дифференцирование

[dima_1985]

Не могу разобраться как происходят некоторые преобразования. Есть пример $f(x)=\ln{\left\langle Ax,x\right\rangle}$ где $A \in S_{++}^n$.Нужно найти градиент и гессиан. С градиентом все понятно находим производную $df(x)=\frac{ 2 \left\langle Ax,dx \right\rangle }{ \left\langle Ax,x \right\rangle }$. Градиент равен $ \nabla f(x)=\frac{ 2Ax }{ \left\langle Ax,x \right\rangle }$. Чтобы найти гессиан находим вторую производную

$$d^2(f(x))=\frac{2 \left\langle Adx_2,dx_1 \right\rangle \left\langle Ax,x \right\rangle - 2\left\langle Ax,dx_1 \right\rangle 2 \left\langle Ax,dx_2 \right\rangle}{\left\langle Ax,dx \right\rangle^2}$$

. Дальше приводят к каноническому виду

$$ \left\langle ( \frac{2A}{ \left\langle Ax,x \right\rangle } - \frac{4Axx^TA}{ \left\langle Ax,x \right\rangle^2 } )dx_1,dx_2 \right\rangle $$

. Совершенно не понятно как они второе слагаемое получили? Где можно прочитать про такие преобразования? В какую сторону копать? Спасибо.

[Slav-27]

Считайте всё в компонентах.

$\langle Ax,x\rangle=\sum\limits_{k,l=1}^n A_{kl}x^kx^l$. Знак суммы принято пропускать, подразумевая суммирование по дважды повторяющимся индексам; то есть предыдущее равенство обычно записывают $\langle Ax,x\rangle=A_{kl}x^kx^l$. Теперь дифференцируем:

$\dfrac\partial{\partial x^i}\ln A_{kl}x^kx^l=\dfrac{2A_{im}x^m}{ A_{kl}x^kx^l};$

$\dfrac\partial{\partial x^j}(\dfrac{2A_{im}x^m}{ A_{kl}x^kx^l})=...$

Если так непонятно, рассмотрите случай $n=2$ или $3$, выписывая все слагаемые явно ($A_{11}x^1x^1+A_{12}x^1x^2+$ и так далее).

[Red_Herring]

dima_1985 в сообщении #1337468 писал(а):

находим вторую производную

В знаменателе ошибка.

Цитата:

Совершенно не понятно как они второе слагаемое получили?

Распишите $\langle Ax, dx\rangle \langle Ax, dx'\rangle $ в компонентах:
$(Ax)_i dx^i (Ax)_j dx^{\prime j}$ это билинейная форма с матрицей $B_{ij}= (Ax)_i(Ax)_j $ и тогда это произведение столбца $Aх$ на строку $(Ax)^T=x^TA^T$

[dima_1985]

Red_Herring в сообщении #1337511 писал(а):

В знаменателе ошибка.

Да, там будет $ \left\langle Ax,x \right\rangle^2 $.

Red_Herring в сообщении #1337511 писал(а):

Распишите $\langle Ax, dx\rangle \langle Ax, dx'\rangle $ в компонентах:
$(Ax)_i dx^i (Ax)_j dx^{\prime j}$ это билинейная форма

. Будет так $ \left\langle Ax,dx \right\rangle = \sum\limits_{i=1}^{n}\sum\limits_{j=1}^{n} A_{i,j}x_idx_j=x^TAdx $ ? Тогда выражение $ \left\langle Ax,dx_1 \right\rangle \left\langle Ax,dx_2 \right\rangle $ можно записать $x^TAdx_1x^TAdx_2$?

[Red_Herring]

dima_1985 в сообщении #1337677 писал(а):

Будет так

Да.

dima_1985 в сообщении #1337677 писал(а):

можно записать

Да, но зачем?

[dima_1985]

Исходя из этого

Red_Herring в сообщении #1337511 писал(а):

$B_{ij}= (Ax)_i(Ax)_j $

можно записать следующее $ \left\langle Ax,dx_1 \right\rangle \left\langle Ax,dx_2 \right\rangle = dx_1^TAx(Ax)^Tdx_2=dx_1^TAxx^TA^Tdx_2$ ? Так как $A^T = A$ тогда $ \left\langle Ax,dx_1 \right\rangle \left\langle Ax,dx_2 \right\rangle =dx_1^TAxx^TAdx_2$. Теперь надо собрать все в скалярное произведение ?

[Red_Herring]

dima_1985 в сообщении #1337698 писал(а):

Теперь надо собрать все в скалярное произведение ?

Заметьте, что $dx^T_1 A x$ и $x^TAdx_2$ это скаляры $\langle Ax,dx_1\rangle$ и $\langle Ax,dx_2\rangle$ соответственно.

[dima_1985]

Red_Herring в сообщении #1337701 писал(а):

Заметьте, что $dx^T_1 A x$ и $x^TAdx_2$ это скаляры $\langle Ax,dx_1\rangle$ и $\langle Ax,dx_2\rangle$ соответственно

. Мне это только говорит о том, что эти два слагаемых можно переставить местами. Выражение $dx_1^TAxx^TAdx_2= \left\langle dx_1,Axx^TAdx_2 \right\rangle $ или $ \left\langle Axx^TAdx_2,dx_1 \right\rangle $, но вот теперь как поменять $dx_1$ и $dx_2$ местами? Это возможно если $Axx^TA=(Axx^TA)^T$ ? Думаю не зря сказано что $ A $ симметричная и положительно определенная.

[alcoholist]

dima_1985 в сообщении #1337763 писал(а):

$ A $ симметричная и положительно определенная

В силу того, что $ \left\langle Ax,x \right\rangle =\frac{1}{2} \left\langle \left(A+A^T\right)x,x \right\rangle$, матрицу можно считать симметричной.
Положительная определенность тут нужна только для максимальности области определения функции $f(x)$.

[dima_1985]

Тут можно исходя из определения $\langle Ax,dx_1\rangle \langle Ax,dx_2\rangle=(Ax)^Tdx_1 (dx_2)^TAx = \langle dx_2,Axx^TA dx_1\rangle$