Алгебра, матрицы, теоретический вопрос.

[r.t.w.z]

Доброго времени суток, посмотрите, пожалуйста, задачу и мои вопросы, соображения к ней:
Задача такая:

Дана вещевственнозначная прямоугольная матрица $A$. Доказать существование $SVD$ представления $A=USV^T$, где $U,V$ -- ортогональные матрицы, а $S$ диагональная матрица с неотрицательными элементами.

Мои соображения:
Ведь $A$ должна быть квадратной?

Я так понимаю, что этот вопрос связан с собственными числами и векторами, что матрица $S$ -- это матрица, на диагонали которой стоят собственные числа, а $U$ -- это матрица из собственных векторов, а $V=U^{-1}$. Верно ли я понимаю? И мне, почему-то кажется, что в какой-то книжке когда-то давно читал это и доказательство, но сейчас сходу вспомнить не получается, может подскажете книжку или как это доказать, пожалуйста?

[ewert]

r.t.w.z в сообщении #886095 писал(а):

Я так понимаю, что этот вопрос связан с собственными числами и векторами, что матрица $S$ -- это матрица, на диагонали которой стоят собственные числа,

Не совсем собственные. Т.е. в некотором смысле собственные; но -- чего именно?...

r.t.w.z в сообщении #886095 писал(а):

а $U$ -- это матрица из собственных векторов,

Аналогичный вопрос.

r.t.w.z в сообщении #886095 писал(а):

а $V=U^{-1}$.

А вот это -- никак нет.

r.t.w.z в сообщении #886095 писал(а):

Задача такая:

Дана вещевственнозначная прямоугольная матрица $A$. Доказать существование $SVD$ представления

Это не задача; это теорема, и довольно длинная. Предположите для начала, что такое представление действительно существует, и присмотритесь к $A\,A^T$ и к $A^TA$.

[r.t.w.z]

ewert в сообщении #886101 писал(а):

r.t.w.z в сообщении #886095 писал(а):

Я так понимаю, что этот вопрос связан с собственными числами и векторами, что матрица $S$ -- это матрица, на диагонали которой стоят собственные числа,

Не совсем собственные. Т.е. в некотором смысле собственные; но -- чего именно?...
....
Аналогичный вопрос.

Спасибо!
Собственные числа матрицы $A$ и собственные векторы матрицы $A$.

ewert в сообщении #886101 писал(а):

Это не задача; это теорема, и довольно длинная. Предположите для начала, что такое представление действительно существует, и присмотритесь к $A\,A^T$ и к $A^TA$.

Спасибо!

$A=USV^T$

$A^T=U^TS^TV$

Ясно, что $(A\cdot A^T)^T=A^TA$

$A\cdot A^T=USV^TU^TS^TV=US(VU)^TS^TV=US(E)^TS^TV=USS^TV$

$A^T\cdot A=U^TS^TVUSV^T=U^TS^TESV^T=U^TS^TSV^T$

$S^TS=SS^T$ А как дальше?

[ewert]

r.t.w.z в сообщении #886143 писал(а):

Ясно, что $(A\cdot A^T)^T=A^TA$

$A\cdot A^T=USV^TU^TS^TV=US(VU)^TS^TV=US(E)^TS^TV=USS^TV$

$A^T\cdot A=U^TS^TVUSV^T=U^TS^TESV^T=U^TS^TSV^T$

Ясно, что Вам нужно подучить свойства операции транспонирования.

[r.t.w.z]

ewert в сообщении #886156 писал(а):

Ясно, что Вам нужно подучить свойства операции транспонирования.

Я пользовался свойствами $(A^T)^T= A$ и $(AB)^T=A^TB^T$.

Еще пользовался тем, что так как матрицы $U$ и $V$ -- ортогональны, то $UV=VU=E$

Верно ли это?

[ewert]

r.t.w.z в сообщении #886159 писал(а):

$(AB)^T=A^TB^T$.

Неверно.

r.t.w.z в сообщении #886159 писал(а):

так как матрицы $U$ и $V$ -- ортогональны, то $UV=VU=E$

Неверно.

[r.t.w.z]

ewert в сообщении #886160 писал(а):

r.t.w.z в сообщении #886159 писал(а):

$(AB)^T=A^TB^T$.

Неверно.

Действительно, был не прав, спасибо. $(AB)^T=B^TA^T$

ewert в сообщении #886160 писал(а):

r.t.w.z в сообщении #886159 писал(а):

так как матрицы $U$ и $V$ -- ортогональны, то $UV=VU=E$

Неверно.

Ух, действительно, ерунду написал, сейчас буду исправляться.

-- 10.07.2014, 14:16 --

$A\cdot A^T=USV^TU^TS^TV=US(UV)^TS^TV=$

$A^T\cdot A=U^TS^TVUSV^T$

Исправился. Но пока что не очевидно -- зачем это нужно было делать?

$(A\cdot A^T)^T= A\cdot A^T$

$US(UV)^TS^TV=U^TS^TVUSV^T$

Можно еще заметить, что $S^T=S$, так как $S$ -- диагональная матрица.

[r.t.w.z]

Ох, это было неверно, переделал.

$A\cdot A^T=USV^TVSU^T=US^2U^T$

$A^T\cdot A=VSU^TUSV^T=VS^2V^T$

О! Умножим $A\cdot A^T=US^2U^T$ справа на $U$, получим $A\cdot A^TU=US^2$

Тогда столбцы матрицы $U$ являются собственными векторами матрицы $AA^T$, а квадраты диагональных элементов матрицы $S$ будут собственными числами.

Аналогично, столбцы матрицы $V$ являются собственными векторами матрицы $A^TA$, а квадраты диагональных элементов матрицы $S$ будут собственными числами.

Но как это может помочь?

-- 10.07.2014, 15:37 --

Или же можно в качестве доказательства сказать ,что в качестве матрицы $U$ выбираем матрицу из собственных векторов матрицы $AA^T$, в качестве $V$ выбираем матрицу из собственных векторов матрицы $A^TA$. В качестве матрицы $S$ выберем диагональную матрицу, на диагонали которой стоят корни из собственных числе матрицы $AA^T$ и все, вуаля, доказали? Можно так?

[ewert]

r.t.w.z в сообщении #886197 писал(а):

и все, вуаля, доказали? Можно так?

Нет, так не можно. Хотя, в принципе, и нужно. Однако для этого требуется, во-первых, допричесать всё до конца (Вы, в принципе, основных блох выловили, но не всех). А во-вторых, установить некое формальное и однозначное соответствие между теми и другими собственными векторами. Но даже и это не будет вполне вуаля; но это уже вопрос следующий.