Почему нормальное псевдорешение является наилучшим?

[VonQO]

Коллеги, добрый день!

Я задам вопросы, которые могут показаться безграмотными, но я никак не могу их "прочувствовать" в полной мере.
Пусть у нас есть недоопределенная СЛАУ $Ax=b$. Мы выбираем из множества решений решение с минимальной нормой $x'$ и называем его нормальным по очевидным причинам.
Является ли это решение наиболее точным? Как быстро оно сходится к точному решению доопределенной СЛАУ при увеличении числа уравнений и можно ли оценить скорость сходимости по виду матрицы $A$ и столбца $b$? Можем ли мы оценить погрешность нормального псевдорешения относительно точного (опять же, по виду матрицы $A$ и столбца $b$)?

Причем в случае 1-нормы на первый вопрос можно ответить из простых геометрических соображений, если у точного решения есть свойство разреженности: да, такое решение наиболее точно.
А вот с 2-нормой ответа на поставленные вопросы у меня нет вообще, особенно непонятен вопрос о том, почему мы минимизируем норму. Единственно, тут понятно, например, что если мы знаем, что компоненты вектора $b$ падают, и у отброшенных уравнений значения $b$ должны быть близки к нулю, то нормальное псевдорешение будет наилучшим приближением к точке пересечения гиперплоскостей, соответствующих этим "отброшенным" уравнениям. А в общем случае?

[TOTAL]

VonQO в сообщении #1492395 писал(а):

Является ли это решение наиболее точным?

Какой смысл в этом вопросе? Можно доопределять систему так, что оно не будет решением, зато точным решением будет решение с не минимальной нормой.

[Евгений Машеров]

"Нормальный" тут чисто рекламное название. Это не хорошее решение, а только наиболее приемлемое из плохих. Гарантировать, что при добавлении уравнений получится именно "нормальное" решение, не можем. Если добавленное уравнение не удовлетворяет "нормальному" решению, полученному до добавления, то "нормальное" решение неверно. Если удовлетворяет - то добавленное уравнение не несёт информации.
А чем оно хорошо - тем, что меньше влияют возмущения свободного члена.

[novichok2018]

Когда-то мне указали теорему, которая сильно подорвала веру в псевдорешения, особенно в их естественность. Пусть решаем обычную для простоты квадратную систему $Ax=b$, есть единственное решение. Тогда если умножить обе части на невырожденную матрицу, то это единственное решение не изменится. С псевдорешениями не так. Если есть псевдорешение, то всегда можно подобрать такую матрицу, что после умножения на неё обеих частей системы любой заранее названный вектор станет тоже псевдорешением. Не очень естественно.

[Xaositect]

Ну это понятно, псевдорешение формулируется в терминах метрики, поэтому инвариантности относительно произвольных преобразований быть не может, только относительно ортогональных.

[VonQO]

Большое спасибо за ответы! Вы подтвердили то, что я и сам подозревал, что нормальное псевдорешение искусственно.
Но есть ли случаи, когда оно естественно, кроме упомянутых в первом моем сообщении?

TOTAL в сообщении #1492403 писал(а):

VonQO в сообщении #1492395 писал(а):

Является ли это решение наиболее точным?

Какой смысл в этом вопросе? Можно доопределять систему так, что оно не будет решением, зато точным решением будет решение с не минимальной нормой.

Да, пожалуй, как я упомянул ранее, правильный вопрос заключается в том, при каких условиях нормальное псевдорешение будет наиболее точным.

Евгений Машеров в сообщении #1492432 писал(а):

А чем оно хорошо - тем, что меньше влияют возмущения свободного члена.

Евгений Машеров, а почему так получается? По идее же, у нас влияние возмущений зависит от обусловленности матрицы.

[Евгений Машеров]

Так у нас число обусловленности не определено. Отношение максимального и минимального сингулярных чисел - а минимальное ноль.
Вообще мы всегда можем прибавить к решению любое из решений $Ax=0$, а в силу недоопределённости системы они существуют. И даже не одно, а пространство размерности $n-m$, где n число неизвестных, а m - уравнений. И в этом смысле решение с минимальной нормой ничем не "точнее" всех прочих, вполне может оказаться, что когда систему дополнят до n уравнений, правильным окажется какое-то из этих. Хотя оправдать прилагательное "нормальное" можно, но не в смысле "правильнейшее", а в смысле "ортогональное" этому пространству. Его преимущество - прежде всего в однозначности выбора решения, когда других оснований нет. А то, что получаем меньшие значения иксов, означает, что одинаковая относительная ошибка даст меньшую абсолютную ошибку.
Это не "правильное", а "удобное" решение.

[ewert]

Например, у нас есть какая-нибудь схемка из резисторов, и есть в ней треугольник с нулевыми резисторами (т.е. просто из проводов). И мы её рассчитываем по Кирхгофу. Система уравнений получается разрешимой, но вырожденной -- по треугольнику можно запустить любой дополнительный круговой ток. Насколько я помню, псевдорешение обеспечивает минимизацию этого дополнительного тока, и это вполне отвечает идее регуляризации (задаём на треугольнике маленькие сопротивления и затем устремляем их к нулю).

Так что псевдорешение вполне может иметь и физический смысл.