Непонятные моменты в многомерной теореме Лагранжа

[Mad_Max]

Я спрошу наверное очень глупый вопрос, но я думаю что это довольно тонкий момент который я не замечал раньше когда читал доказательство этой теоремы некоторое время назад.

Теорема (многомерная теорема Лагранжа). Предположим, что $G\subset \mathbb{R}^m$ открытое множество и $f:G\to \mathbb{R}$. Предположим, что $x,y\in G$ и целый отрезок $[x,y]$, соединяющий $x$ и
$y$ содержится в $G$. Если $f$ непрерывна на $[x,y]$ и дифференцируема на $(x,y)$, тогда

$$f(y)-f(x)=f'(\xi)(y-x),$$

где $\xi\in (x,y)$.

Доказательство в целом не очень сложное, но при детальном чтении появился один момент, который я не могу обосновать детально.

Доказательство. Можно рассмотреть следующую функцию $\varphi:[0,1]\to [x,y]$ определяемая так: $t\mapsto x+t(y-x)$. Мы можем сузить функцию $f$ на отрезок $[x,y]$ , т.е. $f:[x,y]\to \mathbb{R}$ и рассмотреть их композицию $F:=f\circ \varphi:[0,1]\to \mathbb{R}$. Несложно проверить, что $F$ непрерывна на отрезке $[0,1]$ и дифференцируема на $(0,1)$ и по обычной теореме Лагранжа следует, что $\exists \theta\in (0,1)$ такое, что $F(1)-F(0)=F'(\theta)$. Левая часть очевидно равна $f(y)-f(x)$. Правая часть по многомерной теореме о дифференцировании композиций есть композиция дифференциалов

$$F'(\theta)=(f\circ \varphi)'(\theta)=f'(\varphi(\theta))\circ \varphi'(\theta)=f'(x+\theta(y-x))\circ \varphi'(\theta).$$

Стоит заметить, что $f'\in\mathcal{L}(\mathbb{R}^m;\mathbb{R})$ и $\varphi'\in \mathcal{L}(\mathbb{R};\mathbb{R}^m)$ дано так: $\varphi'(\theta):h\mapsto h(y-x)$ и следовательно $f'\circ \varphi'\in \mathcal{L(\mathbb{R};\mathbb{R})}$, где через $\mathcal{L}(X;Y)$ я обозначаю множество всех линейных преобразований из $X$ в $Y$.

Таким образом, $F(1)-F(0)$ есть вещественное число. Однако, правая часть $f'(x+\theta(y-x))\circ \varphi'(\theta)$ есть линейная функция из $\mathbb{R}$ в $\mathbb{R}$, то есть число равно функции. Они не могут быть равны так как это объекты совершенно другой природы.

Таким образом у меня возникают два вопроса:

1. Что не так с равенство $F(1)-F(0)=F'(\theta)$ когда мы раскрываем правую часть используя Chain Rule? Может ли кто-нибудь детально и внятно это обосновать. Хотелось бы услышать конкретное рассуждение, а не интуитивное.

2. Как основательно показать, что правая часть $f'(\xi)(y-x)$? Здесь $f'(\xi)(y-x)$ имеет смысл поскольку $f'(\xi)\in \mathcal{L}(\mathbb{R}^m;\mathbb{R})$ и следовательно $f'(\xi)(y-x)\in \mathbb{R}$.

Я был бы крайне благодарен, если бы кто-то ответил на моив опросы пожалуйста! Спасибо Вам!

[Combat Zone]

Да, часто производная определяется как линейный оператор (который на самом деле дифференциал), и тут начинается путаница.
Дифференциал - это без всякого сомнения линейный оператор (из касательного пространства в одной точке в касательное пространство в другой), но если Вы называете дифференциал производной в правой части

Mad_Max в сообщении #1585718 писал(а):

$$F'(\theta)=(f\circ \varphi)'(\theta)=f'(\varphi(\theta))\circ \varphi'(\theta)=f'(x+\theta(y-x))\circ \varphi'(\theta).$$

то нужно называть производную дифференциалом и в левой.

Или, иначе, помнить, что на самом деле у вас справа стоит композиция линейных операторов, у которой матрица производной, она же матрица Якоби, совпадает с произведением матриц Якоби. Слева при этом будет число (матрица 1x1), то есть то, что вы и ожидаете увидеть на этом месте.

Mad_Max в сообщении #1585718 писал(а):

Что не так с равенство $F(1)-F(0)=F'(\theta)$

Иначе ваш вопрос возник бы уже здесь - производная как линейное отображение в одномерном случае не имеет никакого отношения к вашим выкладкам и к Chain Rule. Но и к теореме Лагранжа, слава богу, тоже не имеет - потому что рассматривается коэффициент, задающий линейное отображение. А не все оно.

Mad_Max в сообщении #1585718 писал(а):

2. Как основательно показать, что правая часть $f'(\xi)(y-x)$?

Если все мои слова выше поняты, то вопрос должен быть снят.

[Padawan]

Mad_Max в сообщении #1585718 писал(а):

$F(1)-F(0)=F'(\theta)$

Запишите его а виде $F(1)-F(0)=F'(\theta)\cdot 1$ , где $1$ -- это вектор $dt$ и всё станет логично. Линейный оператор из $\mathbb R$ в $\mathbb R$ есть умножение на действительное число.

[мат-ламер]

Mad_Max в сообщении #1585718 писал(а):

Правая часть по многомерной теореме о дифференцировании композиций есть композиция дифференциалов

$$F'(\theta)=(f\circ \varphi)'(\theta)=f'(\varphi(\theta))\circ \varphi'(\theta)=f'(x+\theta(y-x))\circ \varphi'(\theta).$$

Тут, наверное, можно так записать:
$F'(\theta) = f'(x+\theta(y-x)) \cdot (y-x)$ , где точка обозначает скалярное произведение, а штрих при $f$- градиент.

[мат-ламер]

Mad_Max в сообщении #1585718 писал(а):

дано так: $\varphi'(\theta):h\mapsto h(y-x)$

Что-то я такую запись недопонял. Из какого пространства у нас тут $h$ ? Почему бы не записать так: $\varphi'(\theta) =y-x $ ? Ну, или так: $\varphi'(\theta, h) = h \cdot (y-x) $ , где точка - скалярное произведение.

[Mad_Max]

Combat Zone в сообщении #1585721 писал(а):

Да, часто производная определяется как линейный оператор (который на самом деле дифференциал), и тут начинается путаница.
Дифференциал - это без всякого сомнения линейный оператор (из касательного пространства в одной точке в касательное пространство в другой), но если Вы называете дифференциал производной в правой части

Mad_Max в сообщении #1585718 писал(а):

$$F'(\theta)=(f\circ \varphi)'(\theta)=f'(\varphi(\theta))\circ \varphi'(\theta)=f'(x+\theta(y-x))\circ \varphi'(\theta).$$

то нужно называть производную дифференциалом и в левой.

Или, иначе, помнить, что на самом деле у вас справа стоит композиция линейных операторов, у которой матрица производной, она же матрица Якоби, совпадает с произведением матриц Якоби. Слева при этом будет число (матрица 1x1), то есть то, что вы и ожидаете увидеть на этом месте.

Mad_Max в сообщении #1585718 писал(а):

Что не так с равенство $F(1)-F(0)=F'(\theta)$

Иначе ваш вопрос возник бы уже здесь - производная как линейное отображение в одномерном случае не имеет никакого отношения к вашим выкладкам и к Chain Rule. Но и к теореме Лагранжа, слава богу, тоже не имеет - потому что рассматривается коэффициент, задающий линейное отображение. А не все оно.

Mad_Max в сообщении #1585718 писал(а):

2. Как основательно показать, что правая часть $f'(\xi)(y-x)$?

Если все мои слова выше поняты, то вопрос должен быть снят.

Спасибо за то, что уделили время и написали комментарий, но скажу Вам честно я не совсем понял что Вы имеете. На интуитивном уровне это ясно. Но бы мне надо эти переходы формализовать.

-- 17.03.2023, 14:09 --

Padawan в сообщении #1585722 писал(а):

Mad_Max в сообщении #1585718 писал(а):

$F(1)-F(0)=F'(\theta)$

Запишите его а виде $F(1)-F(0)=F'(\theta)\cdot 1$ , где $1$ -- это вектор $dt$ и всё станет логично. Линейный оператор из $\mathbb R$ в $\mathbb R$ есть умножение на действительное число.

Возникает следующий вопрос: Как мы понимаем $F'(\theta)$ тут? Как число или линейную функцию? Здесь $F(t)$ это обычная функция вещественной переменной.

[Padawan]

Mad_Max
Как линейную функцию, задаваемую числом (матрица $1\times 1$)

[Mad_Max]

Padawan
Теперь я окончательно запутался. Поскольку $F$ это вещественнозначная функция одной переменной, то ее производная это число. Теперь мы это определяем как линейный оператор. Можем ли мы это обсудить более детально?

-- 17.03.2023, 17:14 --

мат-ламер
$\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$ линейный оператор задаваемый как $h\to h(x-y)$. Можете ли Вы более детально объяснить то что Вы написали?

[мат-ламер]

Mad_Max в сообщении #1585767 писал(а):

Поскольку $F$ это вещественнозначная функция одной переменной, то ее производная это число. Теперь мы это определяем как линейный оператор.

Извините, что вмешиваюсь. Рассмотрим функцию $y=5x$ . Что у нас $5$ ? Число? А может быть линейный оператор (из $R^1$ в $R^1$ )? А может быть линейный функционал? А может быть вообще ковектор? Помогите поправильнее обозвать эту пятёрку

-- Пт мар 17, 2023 18:23:36 --

Mad_Max в сообщении #1585767 писал(а):

Можете ли Вы более детально объяснить то что Вы написали?

Процитируйте мою писанину, чтобы я понял, что именно вас интересует.

[Mad_Max]

мат-ламер
Извините пожалуйста, но не понимаю смысл Вашей шутки. Мне кажется, что был задан нормальный вопрос. $y=5x$ - функция, а коэффициент 5 - это число.

-- 17.03.2023, 17:30 --

мат-ламер в сообщении #1585769 писал(а):

Процитируйте мою писанину, чтобы я понял, что именно вас интересует.

Вопрос был задан в самом начале, но я все равно повторю еще раз. С помощью композиции мы определили новую функцию $F:[0,1]\to \mathbb{R}$, а именно $F(t)=f\circ \varphi(t)$. Многомерный chain rule нам говорит, что $F'(t)=f'(\varphi(t))\circ \varphi'(t)$. Но слева обычная функция а значит ее производная это обычное число, а справа стоит линейный оператор. Равенства числа и линейного оператора меня очень сильно смущает.

-- 17.03.2023, 17:31 --

Я бы хотел получить детальное рассуждение на свой вопрос. Я думал над этим долго, но к сожалению не могу дать детальное математическое рассуждение.

[мат-ламер]

Mad_Max в сообщении #1585767 писал(а):

мат-ламер
$\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$ линейный оператор

А может $ \varphi'(\theta):\mathbb{R}^m \to \mathbb{R}$ ? То есть это линейный функционал на $\mathbb{R}^m $, то есть элемент сопряжённого пространства к $\mathbb{R}^m$ . А значение этого функционала на каком-то векторе $z$ есть скалярное произведение $(y-x)\cdot z$ .

-- Пт мар 17, 2023 19:00:57 --

Mad_Max в сообщении #1585767 писал(а):

мат-ламер
$\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$ линейный оператор

Он в начале был оператором $\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$ . А затем в цепном правиле он стал оператором $\varphi'(\theta):\mathbb{R}^m\to \mathbb{R}$ . То есть где-то произошёл переход от элемента пространства к элементу сопряжённого пространства .

Как мне кажется. Сам запутался и хочу разобраться.

[Mad_Max]

мат-ламер
Что-то Вы походу напутали. Задана функция $\varphi: [0,1]\to [x,y]\subset \mathbb{R}^m$ определенная как $\varphi(t)=x+t(y-x)$. Ее дифференциал в точке $\theta\in (0,1)$ есть линейный оператор $\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$.

[мат-ламер]

Mad_Max в сообщении #1585770 писал(а):

мат-ламер
Извините пожалуйста, но не понимаю смысл Вашей шутки. Мне кажется, что был задан нормальный вопрос. $y=5x$ - функция, а коэффициент 5 - это число.

Смысл моей шутки в том, что мы иногда (особенно в текстах на форуме) допускаем некоторые формальные неточности. Но это не мешает взаимопониманию.

Рассмотрим вопрос. Пусть у нас $f:R^n\to R$ некоторая скалярная функция и $\nabla f(x^*)$ - её дифференциал (производная , градиент) в точке $x^*$. Этот дифференциал - это что - вектор или ковектор (элемент сопряжённого пространства) или может быть линейная функция? Можно назвать это ковектором. А можно и линейным функционалом (линейной функцией). Ведь элемент сопряжённого пространства - это линейный функционал. Без разницы как назвать. Лишь бы понятно было.

-- Пт мар 17, 2023 19:16:52 --

Mad_Max в сообщении #1585773 писал(а):

мат-ламер
Что-то Вы походу напутали. Задана функция $\varphi: [0,1]\to [x,y]\subset \mathbb{R}^m$ определенная как $\varphi(t)=x+t(y-x)$. Ее дифференциал в точке $\theta\in (0,1)$ есть линейный оператор $\varphi'(\theta):\mathbb{R}\to \mathbb{R}^m$.

Я с этим согласен полностью. У меня лишь предположение, что дальше мы переходим к сопряжённому пространству. Но в деталях я сам хочу разобраться. Чуть позже отпишусь.

[Mad_Max]

мат-ламер
не думаю, что здесь делают переход в сопряженное пространство. Я учил все это по книжке Зорича и не помню чтобы там такого делали. Но Вы поняли мой вопрос, а именно что мне непонятно?

[мат-ламер]

У меня вопрос. К этой формуле претензии есть?

мат-ламер в сообщении #1585724 писал(а):

Тут, наверное, можно так записать:
$F'(\theta) = f'(x+\theta(y-x)) \cdot (y-x)$ , где точка обозначает скалярное произведение, а штрих при $f$- градиент.

Я её по памяти изобразил. Сейчас посмотрю в учебниках. Откуда там в конце возникает множитель скалярного произведения $\cdot (y-x)$ ? Так это элемент сопряжённый к $\varphi '$ .

-- Пт мар 17, 2023 19:26:42 --

Mad_Max в сообщении #1585777 писал(а):

мат-ламер
не думаю, что здесь делают переход в сопряженное пространство. Я учил все это по книжке Зорича и не помню чтобы там такого делали.

Может оно и так. Я уже и сам запутался. Отпишусь чуть позже.

Mad_Max в сообщении #1585777 писал(а):

Но Вы поняли мой вопрос, а именно что мне непонятно?

Я уже ничего не соображаю. Чуть позже отпишусь.