Формулы линейного и квадратичного приближения

[give_up]

В одном методическом пособии по методам оптимизации выписаны следующие четыре формулы линейного и квадратичного приближения функции (без доказательств):

1. Если функция $f: X \subseteq \mathbb{R} \to \mathbb{R}$ дифференцируема в точке $x_0 \in \mathrm{int} X$, то ее линейное приближение в окрестности этой точки имеет вид

$$f(x) \approx f(x_0) + f'(x_0)(x-x_0).$$

2. Если функция нескольких переменных $f: X \subseteq \mathbb{R}^n \to \mathbb{R}$ дифференцируема в точке $\mathbf{x}_0 \in \mathrm{int} X$, то ее линейное приближение в окрестности этой точки имеет вид

$$f(\mathbf{x}) \approx f(\mathbf{x}_0) + \langle \nabla f(\mathbf{x}_0), \, \mathbf{x}-\mathbf{x}_0 \rangle.$$

3. Если функция нескольких переменных $f: X \subseteq \mathbb{R}^n \to \mathbb{R}$ дважды дифференцируема в точке $\mathbf{x}_0 \in \mathrm{int} X$, то ее приближение второго порядка (квадратичное приближение) в окрестности этой точки имеет вид

$$f(\mathbf{x}) \approx f(\mathbf{x}_0) + \langle \nabla f(\mathbf{x}_0), \, \mathbf{x}-\mathbf{x}_0 \rangle + \frac{1}{2} \langle \mathbf{x}-\mathbf{x}_0, \, \nabla^2 f(\mathbf{x}_0) (\mathbf{x}-\mathbf{x}_0) \rangle.$$

4. Если вектор-функция $\mathbf{f}: X \subseteq \mathbb{R}^n \to \mathbb{R}^m$ дифференцируема в точке $\mathbf{x}_0 \in \mathrm{int} X$, то ее линейное приближение в окрестности этой точки имеет вид

$$\mathbf{f}(\mathbf{x}) \approx \mathbf{f}(\mathbf{x}_0) + J_{\mathbf{f}}(\mathbf{x}_0)(\mathbf{x} - \mathbf{x}_0).$$

Как я понял, эти выражения получены из формулы Тейлора с остаточным членом в форме Пеано, выписанной до членов первого порядка (в случае линейного приближения) или до членов второго порядка (в случае квадратичного приближения). При этом остаточный член в формуле Тейлора просто отброшен.
К самим математическим выражениям этих разложений у меня претензий нет, но сильно смущает условие из п.3. Так как, насколько мне известно, формула Тейлора для функции нескольких переменных с остаточным членом в форме Пеано, выписанная до членов второго порядка, требует, чтобы функция $f: X \subseteq \mathbb{R}^n \to \mathbb{R}$ была не просто дважды дифференцируемой в точке $\mathbf{x}_0$, а дважды непрерывно дифференцируемой в этой точке. В противном случае не будет гарантии, что ее гессиан $\nabla^2 f(\mathbf{x}_0)$ окажется симметричной матрицей. А если он несимметричен, то практического толку от формулы квадратичного разложения не будет.
В общем, мой вопрос следующий: нужно ли в п.3 фразу "дважды дифференцируема в точке $\mathbf{x}_0 \in \mathrm{int} X$" исправить на "дважды непрерывно дифференцируема в точке $\mathbf{x}_0 \in \mathrm{int} X$"?

[мат-ламер]

give_up в сообщении #1580965 писал(а):

Как я понял, эти выражения получены из формулы Тейлора с остаточным членом в форме Пеано, выписанной до членов первого порядка (в случае линейного приближения) или до членов второго порядка (в случае квадратичного приближения). При этом остаточный член в формуле Тейлора просто отброшен.

А если просто исходить из определения (дважды) дифференцируемости?

[мат-ламер]

мат-ламер в сообщении #1580990 писал(а):

А если просто исходить из определения (дважды) дифференцируемости?

Поясню вопрос. В пунктах 1, 2 и 4 можно знак приближённого равенства заменить на строгое, но добавить в правую часть функцию о-маленькое и просто получить определение дифференцируемости. В пункте 3 в принципе можно также проделать то же самое. То есть считать функцию дважды дифференцируемой в точке, если она в этой точке приближается квадратичной функцией. Но обычно вторую производную определяют как производную от первой производной. А уж квадратичное приближение уже доказывают как следствие. В частности у Зорича (теорема 1 из пункта 10.6.1) этот факт является следствием формулы Тейлора. Непрерывность второй производной при этом не предполагается.

-- Пт фев 10, 2023 14:16:28 --

give_up в сообщении #1580965 писал(а):

В противном случае не будет гарантии, что ее гессиан $\nabla^2 f(\mathbf{x}_0)$ окажется симметричной матрицей. А если он несимметричен, то практического толку от формулы квадратичного разложения не будет.

Посмотрите опять же Зорича, пункт 10.5.3.

[give_up]

мат-ламер, спасибо, теперь ясно.
Думаю я понял, что меня запутало. Дело в том, что в формулировке формулы Тейлора для функции нескольких переменных с остаточным членом в форме Пеано, которая приводится в большинстве учебников по матанализу (включая Зорича том 1 п. 8.4.4) требуется, чтобы разлагаемая в точке $\mathbf{x}_0$ до членов $n$-го порядка функция $f$ принадлежала классу $C^{(n)}(U(\mathbf{x}_0), \mathbb{R})$.
Судя по вашему посту и Зоричу том 2 п.10.6.1, это требование избыточное (для остаточного члена в форме Пеано, для остаточного члена в форме Лагранжа оно не избыточное). Вместо него будет вполне достаточным потребовать того, чтобы в точке $\mathbf{x}_0$ существовала производная $f^{(n)}(\mathbf{x}_0)$.
Взяв значение $n=2$, получим формулу квадратичного приближения.

-- Пт фев 10, 2023 18:46:46 --

мат-ламер
Кстати, думаю, что вы помогли мне разобраться еще с одной вещью. Существует всем известное достаточное условие экстремума (второго порядка) для задачи безусловной оптимизации. Во всех учебниках по матанализу (в том числе в Зорич том 1 п.8.4.5) в его формулировке требуется, чтобы функция $f$ была из класса $C^2(U(\mathbf{x}_0), \mathbb{R})$, где $\mathbf{x}_0$ - стационарная точка функции $f$. Однако, во всех учебниках по методам оптимизации (в книгах Васильева, Сухарева, Поляка и др.) и в Зорич том 2 п.10.6.2 требуется лишь, чтобы функция $f$ была просто дважды дифференцируема в стационарной точке $\mathbf{x}_0$. Сейчас мне стало ясно, что причина этого в том, что доказательство этой теоремы опирается на квадратичное разложение функции $f$, полученное из формулы Тейлора с остаточным членом в форме Пеано. А последняя, в свою очередь, формулируется в этих источниках по-разному, как уже было сказано выше. Так что еще раз спасибо .