Решение матричного уравнения

[v1k1ng]

Дана матрица A размера m на n. Нужно минимизировать вот такую штуку $||y-Ax||^2+\lambda||y||^2\to \min$

$A'$-это транспонированная матрица $A$
$y$ - это вектор-столбец данных
$x$- вектор,который надо найти
$||$ - это норма
лямбда - это число

[ИСН]

ОК, теперь расскажите, что такое A', что значат две вертикальные палочки, и что мы можем менять? А то ответ простой: x=0 (ну, вектор из нулей), y тоже. Нравится? Нет? Почему?

[Евгений Машеров]

Ну и что здесь переменная? x или y? А что задано? Оба одновременно быть неизвестными не могут, поскольку тогда ответ малость тривиален.
И небольшой совет - быстренько переделайте под TeX, а то первый же модератор загонит в Карантин. А там Вам ответить, до переделки и выхода оттуда, никто не сможет.

[ИСН]

Ага, спасибо, теперь следующее:
- напишите формулу по-человечески (целиком в $);
- откуда при взятии производной возникла транспонированная матрица? и, кстати, по кому производная?
- если x нужно найти, а y дан, то второе слагаемое не зависит от x и ни на что не влияет, так что его можно тупо выкинуть.

[Евгений Машеров]

У меня такое впечатление, что Вы во втором слагаемом норму не того вектора взяли. У Вас y, который задан, норма его константа, и оно ни на что не влияет.
Если речь о норме вектора x, то Вы получите ридж-регрессию.

[v1k1ng]

Ладно, я похоже что то не то совсем делаю...тогда сформулирую так:было уравнение $Ax=y$, далее я применяю метод МНК с регуляризацией, получаю
$||y-Ax||^2$$+$$\lambda$$||y||^2$$\rightarrow$$min$ ... как минимизировать??

$A$ матрица размера $m$ на $n$
$x$ -вектор неизвестных
$y$ -вектор
$\lambda$- число малое положительное

[TOTAL]

v1k1ng в сообщении #682839 писал(а):

$||y-Ax||^2$$+$$\lambda$$||y||^2$$\rightarrow$$min$ ... как минимизировать??

Что здесь $\lambda||y||^2$ делает? Ведь это постоянная величина.

[v1k1ng]

Извините, извините...пока писал тут с набором формул разбирался, описАлся) да, там действительно должно быть $ ||x||^2$ ...Теперь поможете?

[AKM]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Тема перемещена в Карантин по следующим причинам: запись формул.
Формула целиком окружается долларами! Не надо засовывать в доллары каждый символ!

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

-- 12 фев 2013, 15:41 --

Весь этот ужасник 
[math]$||y-Ax||^2$[/math][math]$+$[/math][math]$\lambda$[/math][math]$||y||^2$[/math][math]$\rightarrow$[/math][math]$min$[/math]
записывается как 
$||y-Ax||^2+\lambda||y||^2\to \min$

$||y-Ax||^2+\lambda||y||^2\to \min$

[AKM]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»
Причина переноса: не указана.

[Евгений Машеров]

$x=(A^TA+\lambda I)^{-1}A^Ty$

[v1k1ng]

Евгений Машеров в сообщении #682955 писал(а):

$x=(A^TA+\lambda I)^{-1}A^Ty$

а у меня получилось $x=(A^TA-\lambda I)^{-1}A^Ty$, я в чем то ошибся?или Вы?

[Евгений Машеров]

Можно взглянуть на Ваши выкладки? То, что Ваш результат неверен, очевидно. Из него следует, что при некоторых значениях $\lambda$ (а именно равных собственным значениям матрицы $A^TA$) ответ "бесконечность".

[ИСН]

Из Вашего следует в точности то же самое, только при противоположных лямбдах.

[Евгений Машеров]

Так ведь у нас матрица Грама. У которой с.з. всегда неотрицательны. То есть в бесконечность мы выходим, если коэффициент при втором слагаемом в минимизируемой функции отрицателен. Ну, если у нас $\lambda<0$, то минимальное значение функции достигается при больших x, причём если лямбда достаточно далеко в отрицательной области - при бесконечно больших (а также при отрицательных, равных по абсолютной величине собственным значениям матрицы Грама).