Несимметричность определений градиента и матрицы Якоби

[give_up]

Во многих курсах лекций по матанализу градиент определен только для дифференцируемой функции. То есть в них вектор из частных производных первого порядка $\left(\frac{\partial f}{\partial x_1}(\mathbf{x}_0), \ldots, \frac{\partial f}{\partial x_n}(\mathbf{x}_0) \right)^\mathrm{T}$ называется градиентом лишь в том случае, когда функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$. И там часто проскакивают фразы вида "дифференцируемость функции в точке равносильна существованию градиента в этой точке".

Однако, приводимое в этих же курсах лекций определение матрицы Якоби $J_{\mathbf{f}}(\mathbf{x}_0)$ вектор-функции $\mathbf{f}(\mathbf{x})$ вовсе не требует того, чтобы вектор-функция $\mathbf{f}(\mathbf{x})$ была дифференцируема в точке $\mathbf{x}_0$. То есть матрицей Якоби в них называется просто матрица из всех частных производных первого порядка компонент функции $\mathbf{f}(\mathbf{x})$ в точке $\mathbf{x}_0$.

Как-то мне сильно бросается в глаза эта несимметричность определений градиента и матрицы Якоби. Поэтому хочется спросить – это в математике общепринято так считать, что понятие градиента в точке вводится лишь для дифференцируемой функции в этой точке, а понятие матрицы Якоби вовсе не требует наличия дифференцируемости вектор-функции в рассматриваемой точке (т.е. для существования матрицы Якоби достаточно лишь существования всех частных производных первого порядка у ее компонент)?

[Otta]

Ничего несимметричного нету: содержательными оба понятия становятся (как правило) при условии дифференцируемости функции

give_up в сообщении #1558510 писал(а):

И там часто проскакивают фразы вида "дифференцируемость функции в точке равносильна существованию градиента в этой точке".

Но на этот источник все равно хотелось бы посмотреть.

[give_up]

Otta в сообщении #1558520 писал(а):

Ничего несимметричного нету: содержательными оба понятия становятся (как правило) при условии дифференцируемости функции

Несимметричность в том, что при отсутствии дифференцируемости, но существовании всех частных первого порядка, матрица Якоби вполне может существовать, а градиент (если использовать то его определение, которое я написал выше) – нет. То есть если использовать определение из первого поста, то при отсутствии дифференцируемости функции $f(\mathbf{x})$ в точке $\mathbf{x}_0$ вектор из частных производных $\left(\frac{\partial f}{\partial x_1}(\mathbf{x}_0), \ldots, \frac{\partial f}{\partial x_n}(\mathbf{x}_0) \right)^\mathrm{T}$ первого порядка в принципе нельзя называть градиентом. И это напрягает.

Еще забавный факт – в статье английской википедии с названием Gradient тоже требуется дифференцируемость функции в точке для существования ее градиента в этой точке: он определяется там фразой "the gradient of a scalar-valued differentiable function $f$ of several variables is ...". Однако, если открыть в английской википедии статью Jacobian matrix and determinant, то там определение матрицы Якоби не требует дифференцируемости функции в точке, и это сказано явно: "If a function is differentiable at a point, its differential is given in coordinates by the Jacobian matrix. However a function does not need to be differentiable for its Jacobian matrix to be defined, since only its first-order partial derivatives are required to exist." При этом сама матрица Якоби определяется как набор из градиентов вида
$\mathbf{J} = \begin{bmatrix} \nabla^{\mathrm{T}} f_1 \\ \vdots \\ \nabla^{\mathrm{T}} f_m \end{bmatrix}$, where $\nabla^{\mathrm{T}} f_i$ is the transpose (row vector) of the gradient of the $i$ component.
То есть в этой статье уже подразумевается, что градиент $\nabla f_i$ представляет из себя просто вектор из частных производных первого порядка функции $f_i$, вовсе не предполагающий дифференцируемость этой функции в точке $\mathbf{x}_0$.

Наконец, порывшись на math.stackexchange, я нашел там тему шестилетней давности, где обсуждался аналогичный вопрос, и тамошнее сообщество больше склоняется к тому, что вектор из частных производных первого порядка можно называть градиентом, даже если функция не дифференцируема в точке. Но однозначного консенсуса там нет.

-- Вс июн 26, 2022 16:13:26 --

Otta в сообщении #1558520 писал(а):

Но на этот источник все равно хотелось бы посмотреть.

Как пожелаете. Отмечу, что курсы лекций и учебники, перечисленные ниже, довольно хорошие, то есть каких-то существенных косяков и опечаток в них мною замечено не было.

1. Дымарский Я.М. Лекции по математическому анализу. Часть II. МФТИ, 2021, страница 162 в середине:

Цитата:

Дифференцируемость равносильна существованию градиента.

2. Иванов Г.Е. Лекции по математическому анализу. Часть 1. МФТИ, 2017, страница 186:

Цитата:

Из существования частных производных по всем переменным не следует дифференцируемость, а значит, не следует существование градиента функции.

3. Бутузов В.Ф. Лекции по математическому анализу. Часть II. Физический факультет МГУ, 2014, страница 38 (это довольно популярный учебник, где отдельно выписано строгое определение градиента и в нем указано, что функция должна быть дифференцируема в точке):

Цитата:

Определение. Градиентом дифференцируемой функции $u=f(x,y,z)$ в точке $M_0$ называется вектор $\operatorname{grad} u(M_0)$ ...

4. Зорич В.А. Математический анализ. Часть I. МЦНМО, 2002, страница 518. Там градиент функции $f$ в точке $x_0$ определяется через дифференциал $df(x_0)$ по формуле $df(x_0)v = \langle \operatorname{grad} f(x_0), v \rangle, ~~ \forall v \in T\mathbb{R}^m_{x_0}$. Естественно, существование дифференциала предполагает дифференцируемость функции в точке $x_0$.

[svv]

Вектор — это элемент некоторого векторного пространства $V$. От выбора базиса в $V$ зависят компоненты вектора, т.е. коэффициенты его разложения по базису, но сам вектор — не зависит. Значит, если вектор определяется заданием своих компонент в некотором базисе, а выбор базиса неоднозначен, определение будет корректно, только если сам вектор не будет зависеть от этого выбора.

В прошлой теме я писал:

svv в сообщении #1558425 писал(а):

Введём ортонормированный базис $(\mathbf e_i)$. Назовём вектор
$\nabla f=\sum\limits_i\mathbf e_i D_{\mathbf e_i}f$
градиентом функции $f$ в точке $\mathbf x_0$. Можно показать, что определение корректно, т.е. градиент не зависит от выбора ортонормированного базиса.

Проверим это. Пусть $(\mathbf h_k)$ другой ортонормированный базис. Его можно разложить по исходному:
$\mathbf h_k=\sum\limits_i\mathbf e_i p_{ik}$
Коэффициенты $p_{ik}$ образуют матрицу перехода $P$. Так как
$\delta_{k\ell}=(\mathbf h_k,\mathbf h_\ell)=\sum\limits_{i,j}(\mathbf e_i,\mathbf e_j ) p_{ik}p_{j\ell}=\sum\limits_i p_{ik}p_{i\ell},$
матрица $P$ ортогональна: $P^TP=PP^T=E$, тогда и $\sum\limits_k p_{ik}p_{jk}=\delta_{ij}$. Значит,
$\sum\limits_k\mathbf h_k D_{\mathbf h_k}f=\sum\limits_{i,j,k}\mathbf e_i p_{ik} D_{\mathbf e_j p_{jk}}f{\color{magenta}=}\sum\limits_{i,j,k}\mathbf e_i p_{ik}p_{jk} D_{\mathbf e_j}f=\sum\limits_i\mathbf e_i D_{\mathbf e_i}f$

Итак, данное определение градиента инвариантно (если ограничиться ортонормированными базисами). Но переход, который я выделил цветом, требует свойства

Зорич в т.1 на стр.438 писал(а):

... если $f$ — дифференцируемая в точке $x_0$ функция, то для любых векторов $v_1,v_2\in T\mathbb R^m_{x_0}$ и любых $\lambda_1,\lambda_2\in\mathbb R$ функция имеет в точке $x_0$ производную по вектору $(\lambda_1v_1+\lambda_2v_2)\in T\mathbb R^m_{x_0}$ и при этом

$$D_{\lambda_1v_1+\lambda_2v_2}f(x_0)=\lambda_1D_{v_1}f(x_0)+\lambda_2D_{v_2}f(x_0)\eqno{(14)}$$

А этого свойства нет без дифференцируемости.

[give_up]

svv, большое спасибо за подробное объяснение, вы меня опять выручили!
Как я догадываюсь, ваше определение градиента принято в дифференциальной геометрии, где еще более строго, чем в матанализе, относятся к определениям. Поэтому на него можно положиться. Как я понял, авторы учебников по матанализу обычно тоже именно это определение имеют в виду, только они обычно не выписывают доказательство того, что градиент инвариантен к выбору ортонормированного базиса.

Просто интересно, а как принято называть в дифференциальной геометрии набор чисел $\left(\frac{\partial f}{\partial x_1}(\mathbf{x}_0), \ldots, \frac{\partial f}{\partial x_n}(\mathbf{x}_0)\right)^{\mathrm{T}}$ в том случае, когда функция $f(\mathbf{x})$ не является дифференцируемой в точке $\mathbf{x}_0$?
Есть ли для него какое-то специальное название?

[svv]

give_up в сообщении #1558538 писал(а):

ваше определение градиента принято в дифференциальной геометрии

Это обычное матановское определение градиента с двумя косметическими изменениями
Во-первых, набор компонент вектора (где базис подразумевается) заменен на разложение по базису, чтобы базисные векторы входили в формулу явно:
$(a_1,...,a_n)=\mathbf a=a_1\mathbf e_1+...+a_n\mathbf e_n$
Во-вторых, частные производные по координатам заменены на производные по направлению базисных векторов:
$\frac{\partial f}{\partial x_k}=D_{\mathbf e_k}f$
Так из $\left(\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n}\right)$ и получилось $\sum\limits_{k=1}^n\mathbf e_k D_{\mathbf e_k}f$.

Эти обозначения кажутся мне более гибкими и универсальными: попробуйте записать свойство $aD_{\mathbf e_1}f+bD_{\mathbf e_2}f=D_{a\mathbf e_1+b\mathbf e_2}f$ на языке частных производных. Кроме того, чётче отделяется часть рассуждения, опирающаяся лишь на линейную алгебру, от части, зависящей от дифференцируемости и т.п.

От дифгема я как раз старался держаться подальше. Можно было бы записать вектор градиента функции в произвольном базисе:
$\nabla f=g^{ik}\frac{\partial f}{\partial x^i}\mathbf e_k$ (суммирование подразумевается)
Но сюда входит метрический тензор, упоминать о нём сейчас нежелательно. Кроме того, в дифгеме градиент функции $f$ — это изначально вообще не вектор, а 1-форма $df$, где $d$ — внешний дифференциал. Лишь при наличии метрики этой форме можно сопоставить вектор, классический градиент. Все эти вопросы ещё дальше увели бы от темы.

[Otta]

give_up в сообщении #1558525 писал(а):

Как пожелаете. Отмечу, что курсы лекций и учебники, перечисленные ниже, довольно хорошие, то есть каких-то существенных косяков и опечаток в них мною замечено не было.

Я ж все не буду смотреть, потому что знаю, что Ваше утверждение про равносильность - оно Ваше и неправда, если считать, что градиент - это набор всех частных производных.
Берем Дымарского, обещанную страницу 162. Смотрим. "Необходимое условие дифференцируемости". Логично, для дифференцируемости существование частных производных необходимо, но никак не достаточно.Частные производные не только без дифференцируемости, они и без непрерывности в точке могут существовать. Но зачем? Матрица Якоби (частный случай - градиент) имеет какой-то разумный смысл только при наличии дифференцируемости. Иначе понятие становится бессодержательным и смысла вводить его на другом классе тоже никакого.

Это раз. Два. Дымарский называет градиентом именно матрицу оператора производной для скалярного случая, и естественно, что функция получается дифференцируемой.

[svv]

give_up в сообщении #1558538 писал(а):

как принято называть в дифференциальной геометрии набор чисел $\left(\frac{\partial f}{\partial x_1}(\mathbf{x}_0), \ldots, \frac{\partial f}{\partial x_n}(\mathbf{x}_0)\right)^{\mathrm{T}}$ в том случае, когда функция $f(\mathbf{x})$ не является дифференцируемой в точке $\mathbf{x}_0$?

Не знаю и, можно сказать, боюсь недифференцируемости, избегаю её.

[give_up]

Otta в сообщении #1558551 писал(а):

Я ж все не буду смотреть, потому что знаю, что Ваше утверждение про равносильность - оно Ваше и неправда.
Берем Дымарского, обещанную страницу 162. Смотрим. "Необходимое условие дифференцируемости". Логично, для дифференцируемости существование частных производных необходимо, но никак не достаточно. Где там про равносильность?

Вы не поняли. Под фразой "у функции $f(\mathbf{x})$ существует градиент в точке $\mathbf{x}_0$" все перечисленные мной источники (и я в том числе) подразумевают по сути две вещи:
1) функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$
2) у функции $f(\mathbf{x})$ существуют все частные производные первого порядка в точке $\mathbf{x}_0$

У Дымарского по указанной мной ссылке примерно в середине есть фраза "Доказательство. Дифференцируемость равносильна существованию градиента." Это значит, что дифференцируемость функции в точке равносильна выполнению пунктов 1 и 2, которые я выписал выше. Несмотря на то, что она написана в разделе "доказательство" теоремы о необходимом условии дифференцируемости, я не вижу причин, по которой автор не мог бы ее написать в любом другом месте раздела 11.2. То есть можно утверждать, что она верна в вышеуказанном мной смысле как бы вне зависимости от используемого контекста (не только в рамках доказательства необходимого условия дифференцируемости).

[Otta]

Ладно. А чего я не поняла? :)

[give_up]

Otta в сообщении #1558558 писал(а):

Ладно. А чего я не поняла? :)

Я подозреваю, что изначально вы подумали, будто бы я под фразой "дифференцируемость функции в точке равносильна существованию градиента в этой точке" подразумеваю то, что "дифференцируемость функции в точке равносильна существованию всех ее частных производных первого порядка в этой точке". Последняя фраза, конечно, неверна – я с этим и не думал спорить. Пожалуй, мне стоило в самом начале этой темы расписать, что именно я подразумеваю под фразой "дифференцируемость равносильна существованию градиента" (то есть содержимое предыдущего поста).

[Otta]

Вот смотрите. Определять можно по-разному. В том числе и градиент. Иногда попадалась интерпретация = упорядоченный набор частных производных. Может, Вы этого хотите. Не знаю. Потому что не очень понятно, чего же хотите.

У Дымарского градиент по факту матрица производной в стандартном базисе, уже по определению дифференцируемости. Именно там градиент и определяется. В принципе, это логично, в иных ситуациях он не нужен. Потому да, у него это и то - равносильны.

Потому я и затребовала контекст. Это важно.

-- 26.06.2022, 22:17 --

give_up в сообщении #1558555 писал(а):

Вы не поняли. Под фразой "у функции $f(\mathbf{x})$ существует градиент в точке $\mathbf{x}_0$" все перечисленные мной источники (и я в том числе) подразумевают по сути две вещи:
1) функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$
2) у функции $f(\mathbf{x})$ существуют все частные производные первого порядка в точке $\mathbf{x}_0$

Вот это место интересно. Эти источники (и Вы) имеют в виду выполнение обоих пунктов сразу или все же необязательно?

give_up в сообщении #1558555 писал(а):

У Дымарского по указанной мной ссылке примерно в середине есть фраза "Доказательство. Дифференцируемость равносильна существованию градиента." Это значит, что дифференцируемость функции в точке равносильна выполнению пунктов 1 и 2, которые я выписал выше.

Нет. Лемма, на которую Вы ссылаетесь, не использует существование частных производных. Вернее, использует косвенно, как доказанный результат соседней леммы. Ваша лемма 11.2.3 доказывает равенство соответствующих компонент градиента нужной частной производной.

[give_up]

Otta в сообщении #1558565 писал(а):

Вот это место интересно. Эти источники (и Вы) имеют в виду выполнение обоих пунктов сразу или все же необязательно?

Да, пожалуй я поторопился. Конкретно в книге Дымарского фразу "у функции $f(\mathbf{x})$ существует градиент в точке $\mathbf{x}_0$" точнее будет расшифровать как "функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$". Это (согласно его определению дифференцируемости) также автоматически подразумевает существование вектора $\operatorname{grad} f(\mathbf{x}_0) = (a_1,\ldots,a_n)^{\mathrm{T}}$, где константы $a_1, \ldots, a_n$ удовлетворяют условию, которое у него указано в определении дифференцируемости.

Тем не менее, фраза "дифференцируемость функции в точке равносильна существованию градиента в этой точке" будет корректна в обоих случаях - как при интерпретации Дымарского существования градиента (функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$), так и при интерпретации существования градиента следующим образом:

give_up в сообщении #1558555 писал(а):

1) функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$
2) у функции $f(\mathbf{x})$ существуют все частные производные первого порядка в точке $\mathbf{x}_0$

Потому что из 1) сразу следует 2).

[Otta]

give_up в сообщении #1558628 писал(а):

так и при интерпретации существования градиента следующим образом:

give_up в сообщении #1558628 писал(а):

1) функция $f(\mathbf{x})$ дифференцируема в точке $\mathbf{x}_0$
2) у функции $f(\mathbf{x})$ существуют все частные производные первого порядка в точке $\mathbf{x}_0$
Потому что из 1) сразу следует 2).

Ну то есть, Вы говорите, что пункт (2) во второй интерпретации - лишний, его можно выбросить, и тогда ясно, что она станет первой интерпретацией. Ну да. И что?

[give_up]

Otta в сообщении #1558641 писал(а):

Ну да. И что?

Вы же сами спросили

Otta в сообщении #1558641 писал(а):

Эти источники (и Вы) имеют в виду выполнение обоих пунктов сразу или все же необязательно?

Я и дал выше развернутый ответ, что требовать в качестве условия существования градиента выполнение обоих пунктов сразу необязательно (т.к. пункт 2 следует из пункта 1), но в общем случае (не в контексте доказательств необходимых условий дифференцируемости) не является ошибкой (если определять градиент так, как его определяют все вышеперечисленные учебники по матану и пользователь svv в четвертом посте этой темы).