Гессиан функции Лагранжа

[ziv]

Добрый день.
Эквивалентом требования положительной определенности матрицы $\nabla^2 L$ на элементах $y$, удовлетворяющих условию $Gy=0,\ G=\nabla g,\ \--$ является положительная определенность матрицы

$$\nabla^2L+\gamma G^\top G$$

при достаточно больших $\gamma$. (?)
В одну сторону понятно, а как в другую? Возможно не так понял условие... Нет ли тут ошибки?

[vpb]

Добрый !
Нет, утверждение верно. Однако, в нашем городке полагается сначала показывать какие-нибудь попытки собственного решения. Напишите, например, то, что Вам понятно в одну сторону. А также, почему $G^TG$ положительно полуопределена, если это понятно.

[ziv]

Забылась тема, но все-таки отвечу.
$(\Rightarrow )$ Пусть $\nabla^2 L$ положительно определена. Тогда, очевидно, при $\gamma \geq 0$

$$x(\nabla^2L+\gamma G^\top G)x^\top=x\nabla^2Lx^\top+\gamma (x G^\top) (xG^\top)^\top=x\nabla^2Lx^\top+\gamma z z^\top=x\nabla^2Lx^\top+\gamma \| z\|^2>0.$$

Откуда следует положительная определенность $\nabla^2L+\gamma G^\top G.$

[vpb]

ziv

Если $\nabla^2L$ положительно определено, то $\nabla^2L+x^TG^TGx$ тоже положительно определено. Это Вы верно заметили. Однако, положительная определенность для $\nabla^2L$ нам вовсе не дана. С другой стороны, и доказать ее тоже не требовалась. Т.е. Вы не совсем то доказали, даже в одну сторону. Тем не менее, поскольку Вы прилагали усилия, то вот Вам решение.

То, что $G^TG$ положительно определена, Вы, по существу, уже доказали. Также легко видеть, что $x^TG^TGx=0$ в точности тогда, когда $Gx=0$.

Предложение. Пусть $V$ --- действительное векторное пространство, $f$ и $g$ --- квадратичные формы на $V$, причем $g$ неотрицательно определена. Пусть $K$ --- ядро формы $g$. Тогда эквивалентны два условия:

(1) форма $f+\lambda g$ положительно определена для некоторого
(а тогда и для любого достаточно большого) $\lambda>0$ ;

(2) ограничение формы $f$ на $K$ положительно определено.


Доказательство.
(1)$\Rightarrow$(2). Возьмем $\lambda$ такое, что $f+\lambda g$ положительно определена. Если $x\ne0$ --- любой вектор из $K$, то $(f+\lambda g)(x)=f(x)+\lambda g(x)=f(x)$. Но $(f+\lambda g)(x)>0$, значит $f(x)>0$. Это и означает, что $f|_K$ положительно определена.

(Замечание. Это и есть легкая часть утверждения. Я думал, именно это Вы и умеете доказывать "в одну сторону".)

(2)$\Rightarrow$(1). Это сложнее. Здесь надо использовать соображения компактности. Не знаю, какая у Вас подготовка, поэтому напишу поэлементарнее.

Выберем и зафиксируем на пространстве $V$ какую-нибудь положительно определенную квадратичную форму $h$. Например, можно считать, что $V={\mathbb R}^n$ --- пространство вектор-столбцов, а $h$ --- обычный евклидов квадрат (сумма квадратов координат). Пусть

$$ S=\{x\in V\mid h(x)=1\}$$

--- единичная сфера относительно $h$. Для любого $x\ne0$ существует $\mu>0$ такое, что $\mu x\in S$.

Будем рассуждать от противного. Предположим, что $f+\lambda g$ не является положительно определенной ни для какого $\lambda>0$. Для каждого натурального числа $m$ возьмем $x_m\ne0$ такое, что $(f+mg)(x_m)\leq0$. Можно даже считать, что $x_m\in S$, для всех $m$.

Поскольку множество $S$ ограничено, то последовательность $(x_m)$ содержит сходящуюся подпоследовательность. Ограничиваясь этой подпоследовательностью, видим, что мы установили следующее:

существуют возрастающая последовательность положительных чисел $\lambda_1<\lambda_2<\ldots$ и последовательность точек $y_i\in S$ такие, что $(f+\lambda_ig)(y_i)\leq0$, для всех $i$; последовательность $(y_i)$ сходится; а последовательность $\lambda_i$ стремится к $+\infty$.

Пусть $y=\lim y_i$ --- предел. Мы утверждаем, что $y\ne0$, $y\in K$ (т.е. $g(y)=0$), и $f(y)\leq0$. (Отсюда получится противоречие).

Поскольку $h(y_i)=1$, а $h$ --- непрерывная функция на $V$, то и $h(y)=1$, значит $y\ne0$.
Так как $g$ неотрицательно определено, то из $(f+\lambda_ig)(y_i)\leq0$ следует $f(y_i)\leq0$. Переходя к пределу, получаем $f(y)\leq0$.

Последовательность $f(y_i)$ ограничена, значит существует $A>0$ такое, что $f(y_i)\geq-A$. Отсюда $(\lambda_ig)(y_i)\leq A$, $g(y_i)\leq A/\lambda_i$. Переходя в этом соотношении к пределу, получаем $g(y)\leq0$. Но $g$ неотрицательно определено, значит на самом деле $g(y)=0$.

$\square$