Производная по матричному аргументу

[Mig29]

Здравствуйте. Есть функция, ставящая в соответствие одну квадратную матрицу другой того же размера. Как определить производную такой функции?

[mihiv]

Можно формально определить производную степенной функции от матрицы как: $\left (A^n\right )'=nA^{n-1}$. Отсюда получим обычные правила дифференцирования многочленов и степенных рядов.

[мат-ламер]

Общее определение такой производной - это производная Фреше. См. Википедию или учебники по анализу. Но это определение не даёт формулу для конкретного вычисления такой производной. Но для многих частных случаев такое вычисление можно проделать. См. Я.Р. Магнус, Х.Нейдекер, Матричное дифференциальное исчисление ...

[Mig29]

mihiv в сообщении #782909 писал(а):

Можно формально определить производную степенной функции от матрицы как: $\left (A^n\right )'=nA^{n-1}$. Отсюда получим обычные правила дифференцирования многочленов и степенных рядов.

Производные произвольных функций думаю так искать не получиться. Если только не точно.

мат-ламер в сообщении #782912 писал(а):

Общее определение такой производной - это производная Фреше. См. Википедию или учебники по анализу. Но это определение не даёт формулу для конкретного вычисления такой производной. Но для многих частных случаев такое вычисление можно проделать. См. Я.Р. Магнус, Х.Нейдекер, Матричное дифференциальное исчисление ...

То что это производная Фреше я догадывался, но как с ней работать не понятно. Спасибо за литературу.

[Утундрий]

Mig29 в сообщении #783221 писал(а):

Производные произвольных функций думаю так искать не получиться.

Произвольная функция сводится к полиному.

[g______d]

Утундрий писал(а):

Произвольная функция сводится к полиному.

Пусть $f$ - гладкая функция на $\mathbb R$, $A,B$ -- самосопряженные матрицы (вообще говоря, не коммутирующие друг с другом). Попробуйте посчитать $\frac{d}{dt} f(A+tB)$; это частный случай того, что обсуждалось, но уже весьма не тривиальный.

[Утундрий]

g______d

Mig29 в сообщении #782738 писал(а):

Есть функция, ставящая в соответствие одну квадратную матрицу другой того же размера

[ewert]

Утундрий в сообщении #783917 писал(а):

g______d

Mig29 в сообщении #782738 писал(а):

Есть функция, ставящая в соответствие одну квадратную матрицу другой того же размера

Она того же размера и есть.

g______d в сообщении #783495 писал(а):

, но уже весьма не тривиальный.

А насколько вообще корректна постановка задачи?... Ведь гладкость этой матричной функции отнюдь не гарантирована гладкостью самой $f$.

[Otta]

ewert в сообщении #783931 писал(а):

Ведь гладкость этой матричной функции отнюдь не гарантирована гладкостью самой $f$.

Сама $f$ от "этой матричной функции" чаще всего неотделима.
Пусть, например, $f(A)=A^T$. Или что-нибудь в этом духе.

[g______d]

ewert в сообщении #783931 писал(а):

А насколько вообще корректна постановка задачи?... Ведь гладкость этой матричной функции отнюдь не гарантирована гладкостью самой $f$.

По-моему, гарантирована. Для семейства $A+tB$ при каждом $t$ можно построить спектральное разложение. Более того, можно сделать так, чтобы собственные значения и собственные вектора аналитически зависели от $t$ (например, Като VII.3.5). Тогда, применяя $f$ к этому разложению, получаем композицию аналитической функции и гладкой. Но это для матриц; для операторов я уже не уверен, что правда.

-- 03.11.2013, 12:56 --

Otta в сообщении #783941 писал(а):

Сама $f$ от "этой матричной функции" чаще всего неотделима.
Пусть, например, $f(A)=A^T$. Или что-нибудь в этом духе.

Я не совсем точно выразился. Я имел в виду функции от матриц (т. е. обычные функции на $\mathbb R$, примененные к самосопряженным матрицам). Функция $A\mapsto A^T$ такой не является.

Если изначальная постановка была про произвольные отображения пространства матриц в себя, то не понятно, чем это отличается от классического анализа на $\mathbb R^{n^2}$.

[Otta]

g______d, почему не совсем точно. Все Вы ясно сказали. Вы предлагаете сперва искать производную по направлению, фактически. И да, в случае, когда исходная $f: \mathbb R\to \mathbb R$.

-- 03.11.2013, 14:07 --

g______d в сообщении #783958 писал(а):

Если изначальная постановка была про произвольные отображения пространства матриц в себя, то не понятно, чем это отличается от классического анализа на $\mathbb R^{n^2}$.

А она про что-то другое? Я почему-то поняла ее в своем смысле.

[g______d]

Otta в сообщении #783962 писал(а):

g______d, почему не совсем точно. Все Вы ясно сказали. Вы предлагаете сперва искать производную по направлению, фактически.

В этом смысле да; если в качестве $B$ подставлять матрицу с одной единицей и остальными нулями, получим производную функции по соответствующему матричному элементу. Основная проблема в том, как их считать, хотел привлечь внимание к тому, что это нетривиальный вопрос; даже если мы очень много знаем про функцию $f$, это не гарантирует, что мы достаточно хорошо знаем, как она действует на матрицы.

-- 03.11.2013, 13:11 --

Otta в сообщении #783962 писал(а):

А она про что-то другое? Я почему-то поняла ее в своем смысле.

Для многих людей привычно под "функциями от матриц" понимать обычные скалярные функции одного аргумента, примененные к матрицам.

[ewert]

g______d в сообщении #783958 писал(а):

Но это для матриц; для операторов я уже не уверен, что правда.

Для операторов возникают всякие противности с непрерывным спектром; для дискретного вроде бы какая и разница.

Мне показалось, что ветвление вокруг кратных точек нарушает гладкость (просто уже плохо помню теорию возмущений). На самом деле тут другая проблема: это нельзя назвать частным случаем, т.к. это производная не по Фреше, а по Гато, причём не по всем направлениям, а лишь по избранным (симметричным). Впрочем, для случая простого спектра теория возмущений тоже вроде бы работает независимо от самосопряжённости, а множество матриц с простым спектром является открытым,и говорить о дифференцировании на нём вполне можно.

[g______d]

Просто если понимать в совсем широком смысле, то вопрос "как считать производные функций от матриц" равносилен вопросу "как считать производные отображений из $\mathbb R^{n^2}$ в $\mathbb R^{n^2}$" и, тем самым, не содержателен. Скорее всего имелось в виду что-то вроде "как сосчитать производную корня из матрицы, если мы знаем производную корня" и т. п.

-- 03.11.2013, 13:20 --

ewert в сообщении #783967 писал(а):

Мне показалось, что ветвление вокруг кратных точек нарушает гладкость (просто уже плохо помню теорию возмущений).

Ну если для самосопряженного семейства взять функцию "$k$-е собственное значение", то она будет только кусочно гладкой, это да. А есть теорема (примерно в указанном мной параграфе), что, тем не менее, аналитические ветви можно выбрать.

[mihiv]

Производная по матричному аргументу должна быть каким-то обобщением обычной производной. Можно, например, определить такую производную, если потребовать, чтобы она сохраняла основные свойства обычной производной:

$$1. (af(X)+bg(X))'=af'(X)+bg'(X)$$$$2. (f(X)g(X))'=f'(X)g(X)+f(X)g'(X)\qquad 3. C'=0\qquad 4. X'=I$$

Здесь большими буквами обозначены матрицы, а маленькими числа, $C$- постоянная матрица, $I$- единичная матрица.
С помощью свойств 1.-4. можно находить производные и от выражений, содержащих некоммутирующие матрицы. Так производная по $X$ от $(BXBX)'=B^2X+BXB$ ($B$ и $X$ не коммутируют).