Псевдообратные матрицы

[tac]

"Псевдообращение можно понимать как наилучшую апроксимацию решения соответствующей системы линейных уравнений. Псевдообращение определено для любых матриц над действительными числами."

Вопрос получится не очень точным, но именно его формулирование и будет нашей задачей.

Начнем с квадратной матрицы - там мы получаем нормальную обратную матрицу, которая так же будет решением системы линейный уравнений. Вопрос первый, если матрица будет иметь определитель равный нулю - то обратную матрицу мы не получим, означает ли это то, что соответствующая система линейных уравнений не имеет решения ? Или что это означает ?

Вопрос второй, перейдем к произвольным матрицам, тут получается, что мы всегда можем получить псевдообратную матрицу, т.е. одно из решений удовлетворяющие системе линейных уравнений ... но что здесь является аналогом определителя равного нулю, в каких случая решения такой системы уравнения мы не сможем получить ?

[ewert]

Псевдорешением системы $A\,\vec x=\vec b$ называется решение системы $A^*A\,\vec x=A^*\vec b$ (оно всегда существует, в т.ч. и для неквадратных матриц $A$).

Есле псевдорешение не единственно, то нормальным псевдорешением называется псевдорешение, минимальное по евклидовой норме (оно всегда существует и единственно).

Псевдообратной матрицей называется матрица, сопоставляющая (умножением на себя) каждой правой части $\vec b$ нормальное псевдорешение $\vec x$.

[Really]

tac в сообщении #168442 писал(а):

если матрица будет иметь определитель равный нулю - то обратную матрицу мы не получим, означает ли это то, что соответствующая система линейных уравнений не имеет решения ? Или что это означает ?

Система будет иметь решение не при любой правой части, и если будет,
то не единственное...

tac в сообщении #168442 писал(а):

но что здесь является аналогом определителя равного нулю, в каких случая решения такой системы уравнения мы не сможем получить ?

Тут надо считать ранг матрицы.

Система размера $m \times n$.
$m>n$: Решение будет не всегда независимо от ранга. Если ранг равен $n$ - решение единственное. Если ранг меньше $n$ (матрица неполного ранга) - неединственное.

$m<n$: Решение всегда будет неединственное независимо от ранга. Если ранг равен $m$ - решение будет при любой правой части, если меньше не при любой.

[tac]

Really писал(а):

tac в сообщении #168442 писал(а):

если матрица будет иметь определитель равный нулю - то обратную матрицу мы не получим, означает ли это то, что соответствующая система линейных уравнений не имеет решения ? Или что это означает ?

Система будет иметь решение не при любой правой части, и если будет,
то не единственное...

tac в сообщении #168442 писал(а):

но что здесь является аналогом определителя равного нулю, в каких случая решения такой системы уравнения мы не сможем получить ?

Тут надо считать ранг матрицы.

Система размера $m \times n$.
$m>n$: Решение будет не всегда независимо от ранга. Если ранг равен $n$ - решение единственное. Если ранг меньше $n$ (матрица неполного ранга) - неединственное.

$m<n$: Решение всегда будет неединственное независимо от ранга. Если ранг равен $m$ - решение будет при любой правой части, если меньше не при любой.

Спасибо, это многое проясняет ...
Теперь понятно, что меня интересует в первую очередь случай когда $m>n$, т.е. когда строк больше столбцов. Так же обязательно, чтобы решение существовало при любой правой части. Отсюда получается, что для системы $m \times n$ нужно обеспечить, чтобы ранг матрицы был ... тут не совсем понял .. не меньше $n$ ?

[ewert]

tac в сообщении #168615 писал(а):

Теперь понятно, что меня интересует в первую очередь случай когда $m>n$, т.е. когда строк больше столбцов. Так же обязательно, чтобы решение существовало при любой правой части. Отсюда получается, что для системы $m \times n$ нужно обеспечить, чтобы ранг матрицы был ... тут не совсем понял .. не меньше $n$ ?

Т.е. Вас интересует переопределённая система, когда слишком много уравнений, т.е. когда матрица исходной системы вытянута по вертикали.

В этой ситуации, как правило, исходная система решений не имеет. Поэтому и вводят понятие псевдорешения.

Когда оно сразу же единственно (т.е. когда его не надо дополнительно нормализовывать)? Для этого нужна невырожденность матрицы $A^*A$, а это будет ровно тогда, когда исходная матрица $A$ -- полного ранга, т.е.все её столбцы линейно независимы.

[maxal]

http://mathworld.wolfram.com/Moore-Penr ... verse.html

[Really]

tac в сообщении #168615 писал(а):

Теперь понятно, что меня интересует в первую очередь случай когда $m>n$, т.е. когда строк больше столбцов. Так же обязательно, чтобы решение существовало при любой правой части. Отсюда получается, что для системы $m \times n$ нужно обеспечить, чтобы ранг матрицы был ... тут не совсем понял .. не меньше $n$ ?

Существование решения невозможно гарантировать. Максимальная размерность линейной
оболочки столбцов матрицы равна $n$ (это если матрица полного ранга). В то время как векторы
правой части принадлежат $m$-мерному пространству ($m>n$).Кроме того, ранг такой
системы всегда не меньше $n$. Просто, если он равен $n$, то решение, если оно существует, единственно....

[ewert]

maxal писал(а):

http://mathworld.wolfram.com/Moore-PenroseMatrixInverse.html

Угу, это небезызвестные уравнения Пенроуза для псевдообратной матрицы $A^+$:

$$\begin{cases}A\,A^+\,A=A^+, \quad A^+\,A\,A^+=A^+;\\ \text{матрицы } A\,A^+ \text{ и } A^+A \text{ суть эрмитовы.} \end{cases}$$

Только я никогда не мог врубиться в глубокий практически-пхилософский смысл этих уравнений. Мало того, что они занудны, так истчо и нелинейны.

Так что для теории это может и святое, не знаю, а практически -- по-моему, проще исходить непосредственно из определения.

[tac]

ewert писал(а):

1. Т.е. Вас интересует переопределённая система, когда слишком много уравнений

2. В этой ситуации, как правило, исходная система решений не имеет. Поэтому и вводят понятие псевдорешения.

"Really
2. Существование решения невозможно гарантировать."


1. Именно так, и эти уравнения избыточны, поэтому хотелось бы ограничить число независимых коэффициентов в этих уравнениях, именно поэтому рассматриваем систему, где m>n .. т.е. когда нам жалко вводить столько же коэффициентов сколько и уравнений

2. Понятно, что в общем случае система может не иметь решения ... Но нас в каждом конкретном случае интересует не общие решение, а вполне конкретное ... Допустим мы ввели бы столько же коэффициентов и получилась бы у нас матрица mxm, гарантируем, что матрица не особенная и получаем решение всегда ... теперь нам жалко находить столько не зависимых коэффициентов ... и мы уменьшаем, получаем систему mx(m-1) и смотрим - "О! а решение то существует", и т.д. Теперь хочется понять сразу на сколько можно уменьшить m до n ... уменьшаем и получаем матрицу mxn и вот по этой матрице хотелось бы понять существует ли решение или мы перестарались с уменьшением. Таким образом, важна характеристика этой матрицы ... вы наверняка правильно подсказали, что это ранг ... теперь если я обеспечу что ранг матрицы равен или больше n ... будет ли это гарантировать, что решение существует ? (Судя по всему - нет, небудет ? ) А вообще может в матрице mxn ранг быть больше n ?

3. По поводу псевдорешения, которое как я понимаю можно трактовать как апроксимацию - это отдельный разговор ... и это вполне может устроить, но лишь с допустимой точностью ... давайте об этом попозже ...

Добавлено спустя 19 минут 38 секунд:

ewert писал(а):

Так что для теории это может и святое, не знаю, а практически -- по-моему, проще исходить непосредственно из определения.

Да,уж пожалуйсто без абстрактной теории ... а то у меня и так мозг кипит

[maxal]

В книге Прасолов В.В. — Задачи и теоремы линейной алгебры есть параграф 45. Обобщенная обратная матрица. Матричные уравнения, где описываются всякие интересные свойства псевдообратных матриц и их приложения.

[tac]

maxal писал(а):

В книге Прасолов В.В. — Задачи и теоремы линейной алгебры есть параграф 45. Обобщенная обратная матрица. Матричные уравнения, где описываются всякие интересные свойства псевдообратных матриц и их приложения.

Ну, там я без пояснений не разберусь - одни теоремы и их доказательства.

Может кто нибудь конкретно ответит на мои вопросы выше ? Тогда я хоть основы уясню ...

[ewert]

tac в сообщении #168775 писал(а):

1. Именно так, и эти уравнения избыточны, поэтому хотелось бы ограничить число независимых коэффициентов в этих уравнениях, именно поэтому рассматриваем систему, где m>n .. т.е. когда нам жалко вводить столько же коэффициентов сколько и уравнений

Что значит "жаль-не жаль". Жалко -- оно у пчёлки в попке. А тут исходят из совершенно напрашивающихся соображений. То, что уравнение $A\vec x=\vec b$ имеет точное решение, означает не больше и не меньше, как равенство нулю невязки $\Vert A\vec x-\vec b\Vert$. Ну а коли точного равенства нулю не добиться, то почему бы по крайней мере не сделать эту невязку как можно меньше. Вот результат, который при таком подходе получается, и есть псевдорешение (по определению).

[bot]

ewert в сообщении #168971 писал(а):

Вот результат, который при таком подходе получается, и есть псевдорешение (по определению).

Формально это сводится к умножению $Ax=b$ слева на транспонированную $A'$, в результате чего и получаем уравнение $A'Ax=A'b$ для определения псевдорешения. В случае, если $A$ матрица полного ранга (а по мнению вычислителей только такие в природе и бывают), псевдорешение будет единственным.

[ewert]

1) Только не на просто транспонированную, а на эрмитово сопряжённую (комплексные задачи в природе тоже вполне встречаются).

2) Для единственности псевдорешения нужно, чтобы исходная матрица была полного ранга и, кроме того, чтобы система была переопределённой (или квадратной). А вот если система, наоборот, недоопределена -- к-во псевдорешений гарантированно бесконечно.