Помогите разобраться с доказательством следствия f'(x*)=0

[alusov]

В одной монографии по методам оптимизации была доказана известная теорема (1):
Пусть $x^*$ точка локального минимума дифференцируемой функции $f(x)$. Тогда $f'(x^*)=0$.

Затем доказывается следствие: Пусть $x^*$ точка локального минимума дифференцируемой функции $f(x)$ при ограничениях в виде линейных равенств:
$x \in \Psi \equiv \left\lbrace x \in R^n | Ax=b \right\rbrace$ $\ne \varnothing$, где $A(mxn)$ матрица, $b \in R^m$, $m<n$. Тогда существует такой вектор множителей $\lambda^*$, что

$f'(x^*)=A^T\lambda^*$.

Доказательство. Рассмотрим некоторые векторы $u_i, i=1,...k$, которые формируют базис нуль-пространства матрицы $A$. Тогда любой вектор $x \in \Psi$ может быть представлен в виде:

$x = x(y) \equiv x^* + \sum\limits_{i=1}^{k}y^{(i)}u_i$, $y \in R^k$

Более того точка $y=0$, представляет собой локальный минимум функции $\varphi(y)=f(x(y))$. Из теоремы (1) следует что $\varphi'(y)=0$. Отсюда получаем что

$\frac{\partial \varphi(0)}{\partial y^{(i)}}= <f'(x^*),u_i> =0$, i=1,...k. И равенство $f'(x^*)=A^T\lambda^*$ доказано.

Прошу объяснить
1. базис нуль-пространства матрицы $A$ - это базис ядра линейного оператора в виде матрицы $A$?
2. на основании чего можно любой вектор $x$ (т.е. по сути решение СЛАУ) разложить в виде линейной комбинации базисных векторов ядра матрицы $А$ и еще одного вектора $x^*$?
3. почему скалярное произведение $<f'(x^*),u_i>$ является частной производной?

[Pphantom]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы), отдельные обозначения - это тоже формулы.

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Pphantom]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

[ozheredov]

alusov в сообщении #1546274 писал(а):

произведение $<f'(x^*),u_i>$ является частной производной?

Это не по направлению производная? Первый множитель - это ж очевидно градиент

[мат-ламер]

alusov в сообщении #1546274 писал(а):

В одной монографии по методам оптимизации

А что за монография?

[alusov]

мат-ламер в сообщении #1546311 писал(а):

alusov в сообщении #1546274 писал(а):

В одной монографии по методам оптимизации

А что за монография?

Это монография Ю.И. Нестерова Методы выпуклой оптимизации 2010г. стр. 42. В интернете доступна.

-- 17.01.2022, 19:34 --

ozheredov в сообщении #1546308 писал(а):

alusov в сообщении #1546274 писал(а):

произведение $<f'(x^*),u_i>$ является частной производной?

Это не по направлению производная? Первый множитель - это ж очевидно градиент

Я считаю, что это скалярное произведение векторов: градиент функции в точке $x^*$ умножается на один из базисных векторов $u_i$, у обоих размерность $n$.

[мат-ламер]

alusov в сообщении #1546274 писал(а):

2. на основании чего можно любой вектор $x$ (т.е. по сути решение СЛАУ) разложить в виде линейной комбинации базисных векторов ядра матрицы $А$ и еще одного вектора $x^*$?

Вспоминается теорема, что любое решение неоднородного уравнения есть сумма решений однородного уравнения и какого-то конкретного решения неоднородного.

-- Пн янв 17, 2022 20:58:32 --

alusov в сообщении #1546274 писал(а):

1. базис нуль-пространства матрицы $A$ - это базис ядра линейного оператора в виде матрицы $A$?

Да.

-- Пн янв 17, 2022 21:02:19 --

alusov в сообщении #1546274 писал(а):

3. почему скалярное произведение $<f'(x^*),u_i>$ является частной производной?

А почему вы употребляете термин "частная производная"? Это скорее производная Гато. (То есть, это не определение этой производной. Но если производная Фреше (градиент) существует, то производную Гато можно вычислить таким способом). А в монографии Нестерова это никак не называется. Хотя может я не туда смотрю. (Смотрю книгу "Введение в выпуклую оптимизацию", стр. 40).

-- Пн янв 17, 2022 21:15:51 --

ozheredov в сообщении #1546308 писал(а):

Это не по направлению производная? Первый множитель - это ж очевидно градиент

Это было бы тем, что в учебниках анализа называется производной по направлению, если бы векторы $u_i$ имели единичную норму.

[alusov]

мат-ламер в сообщении #1546320 писал(а):

А почему вы употребляете термин "частная производная"? Это скорее производная Гато. (То есть, это не определение этой производной. Но если производная Фреше (градиент) существует, то производную Гато можно вычислить таким способом). А в монографии Нестерова это никак не называется. Хотя может я не туда смотрю. (Смотрю книгу "Введение в выпуклую оптимизацию", стр. 39).

Спасибо за Ваш комментарий. Я употребляю термин частная производная потому что слева от скалярного произведения написано $\dfrac{\partial\varphi(0)}{\partial y^{(i)}}$, так же обратите внимание на верхний индекс $i$. Я полагаю, что это частная производная функции $\varphi(y)$. Возможно ошибаюсь, хочу разобраться. Первоисточник "Методы выпуклой оптимизации", 2010, стр. 42, Нестеров Ю.Е.

[мат-ламер]

alusov в сообщении #1546324 писал(а):

Я полагаю, что это частная производная функции $\varphi(y)$.

В каком-то смысле это частная производная. Только не в исходном пространстве, а на аффинном подпространстве $Ax=b$ . И $y^{(i)}$ - это новые координаты в этом подпространстве.

[ozheredov]

alusov в сообщении #1546274 писал(а):

Рассмотрим некоторые векторы $u_i, i=1,...k$, которые формируют базис нуль-пространства матрицы $A$.

мат-ламер в сообщении #1546320 писал(а):

если бы векторы $u_i$ имели единичную норму.

А зачем им иметь другую норму?