Доказать эквивалентность минимизации матричных выражений

[student0431]

Здравствуйте,
помогите пожалуйста найти путь решения

$H \in \mathbb{R}^{n \times k}$ матрица с ортонормированными столбцами, $H^\top H=I$, $S(X)=X X^\top$

Доказать, что

$$\min_{\Theta \in \mathbb{R}^{k \times 3}} \|Z-S(H \Theta)\|_F^2 $$

эквивалентно

$$ \min_{\Theta \in \mathbb{R}^{k \times 3}} \left\|H^T Z H-\Theta \Theta^T\right\|_F^2. $$

Я пробовал использовать свойство ортогональности матрицы $H$ и доказал эквивалентность для случая, когда $H$ квадратная, но для произвольной формы $H$ не знаю что делать, пробовал преобразовать выражение, но в таком случае множители $H$ и $H^T$ не сокращаются...

Натолкните на мысль пожалуйста

[svv]

Пусть
$E_m$ — единичная квадратная матрица порядка $m$,
$O_{m,p}$ — нулевая матрица размера $m\times p$.
Ещё определим матричные функции
$A(\Theta)=Z-H \Theta\Theta^\top H^\top$
$B(\Theta)=H^\top Z H-\Theta \Theta^\top$
Ясно, что $k\leqslant n$, иначе равенство $H^\top H=E_k$ невозможно. Раз у Вас всё получилось для $k=n$, давайте теперь считать, что $k<n.$

Рассмотрим простой случай, когда $Z=E_n$, а $H$ — блочная матрица
$H=\begin{bmatrix}E_k\\O_{n-k,k}\end{bmatrix}$
(условие $H^\top H=E_k$ при этом выполняется). Тогда
$A(\Theta)=\begin{bmatrix}E_k-\Theta \Theta^\top&O_{k,n-k}\\O_{n-k,k}&E_{n-k} \end{bmatrix}$
$B(\Theta)=E_k-\Theta \Theta^\top$

Но ведь это означает, что
$\|A(\Theta)\|_F^2=\|B(\Theta)\|_F^2+(n-k)$

[student0431]

svv в сообщении #1618654 писал(а):

Пусть
$E_m$ — единичная квадратная матрица порядка $m$,
$O_{m,p}$ — нулевая матрица размера $m\times p$.
Ещё определим матричные функции
$A(\Theta)=Z-H \Theta\Theta^\top H^\top$
$B(\Theta)=H^\top Z H-\Theta \Theta^\top$
Ясно, что $k\leqslant n$, иначе равенство $H^\top H=E_k$ невозможно. Раз у Вас всё получилось для $k=n$, давайте теперь считать, что $k<n.$

Рассмотрим простой случай, когда $Z=E_n$, а $H$ — блочная матрица
$H=\begin{bmatrix}E_k\\O_{n-k,k}\end{bmatrix}$
(условие $H^\top H=E_k$ при этом выполняется). Тогда
$A(\Theta)=\begin{bmatrix}E_k-\Theta \Theta^\top&O_{k,n-k}\\O_{n-k,k}&E_{n-k} \end{bmatrix}$
$B(\Theta)=E_k-\Theta \Theta^\top$

Но ведь это означает, что
$\|A(\Theta)\|_F^2=\|B(\Theta)\|_F^2+(n-k)$

Спасибо большое!
Еще в процессе ночных блужданий родилась идея воспользоваться ортогональностью оператора $H^T \cdot H$, что это сохраняет норму Фробениуса.

[svv]

student0431, чтобы я не беспокоился: Вы поняли, что я привёл контрпример к утверждению, которое надо доказать? В моём примере минимумы разные получаются. Отличаются на $n-k$. И ничего с этим не сделаешь. А если $n=k$, то всё в порядке.

[student0431]

svv в сообщении #1618771 писал(а):

student0431, чтобы я не беспокоился: Вы поняли, что я привёл контрпример к утверждению, которое надо доказать? В моём примере минимумы разные получаются. Отличаются на $n-k$. И ничего с этим не сделаешь. А если $n=k$, то всё в порядке.

Уважаемый svv,

Да, про разные минимумы довольно наглядно получилось показать, но все же, они же могут достигаться при одном и том же $\Theta=\Theta_{\min}$

[svv]

Если нужен не сам минимум, а аргумент (в нашем случае $\Theta$), при котором он достигается, это обозначается $\operatorname{arg\;min}$. См. здесь.
Значит, Вам достаточно, если минимумы этих функций достигаются на одной и той же матрице $\Theta$.

Пусть $m=n-k$. Рассмотрим столбцы $H \in \mathbb{R}^{n \times k}$ как векторы в $\mathbb{R}^n$. Используя процесс ортогонализации Грама-Шмидта, дополним их набор до ортонормированного базиса в $\mathbb{R}^n$. Получим ортогональную матрицу $P\in \mathbb{R}^{n \times n}$:
$P=\begin{bmatrix}P_1&P_2\end{bmatrix},$
где $P_1\in \mathbb{R}^{n \times k}$ — просто другое обозначение для $H$, а $P_2\in \mathbb{R}^{n \times m}$ — матрица из добавленных векторов.
Из $P^\top P=E_n$ следует
$\begin{array}{ll}P_1^\top P_1=E_k&P_1^\top P_2=O_{km} \\P_2^\top P_1=O_{mk}&P_2^\top P_2=E_m\end{array}$

Пусть $C(\Theta)=P^\top A(\Theta) P$. Поскольку $P$ ортогональна, $\|C(\Theta)\|=\|A(\Theta)\|$. Имеем:
$C(\Theta)=P^\top (Z-H \Theta\Theta^\top H^\top) P=\begin{bmatrix}P_1^\top\\P_2^\top\end{bmatrix}(Z-P_1 \Theta\Theta^\top P_1^\top)\begin{bmatrix}P_1&P_2\end{bmatrix}=$
$=\begin{bmatrix}P_1^\top Z P_1-\Theta\Theta^\top&P_1^\top Z P_2\\P_2^\top Z P_1&P_2^\top Z P_2\end{bmatrix}=\begin{bmatrix}B(\Theta)&P_1^\top Z P_2\\P_2^\top Z P_1&P_2^\top Z P_2\end{bmatrix}$

Поскольку квадрат нормы Фробениуса матрицы — это сумма квадратов её элементов, то
$\|A(\Theta)\|^2=\|C(\Theta)\|^2=\|B(\Theta)\|^2+\|P_1^\top Z P_2\|^2+\|P_2^\top Z P_1\|^2+\|P_2^\top Z P_2\|^2$
Но последние три слагаемых не зависят от $\Theta$. Поэтому минимум $\|A(\Theta)\|$ и $\|B(\Theta)\|$ достигается при одной и той же матрице $\Theta$ (точнее, на одном и том же множестве матриц).