По вашим вопросам:
1. Преимущество использования псевдообратной матрицы по сравнению с обратной в случае плохой обусловленности задачи - устойчивость результата. Например, если обусловленность матрицы

, то в при изменении в 6-й значащей цифре одного из элементов матрицы, это
может привести к изменению в элементах обратной матрицы в первой значащей цифре (что обычно делает ответ практически неприемлимым). Для псевдообратной матрицы такое же изменение элементов исходной матрице приведет к изменению элементов псевдообратной примерно в 6-й значащей цифре (или чуть хуже).
2.Инструменты для "улучшения" обусловленности матрицы: псевдообратная матрица, метод главных компонент, метод оптимального прореживания, метод регуляризации и др.
Методы главных компонент и оптимального прореживания борются с упомянутой
ewert проблемой линейной зависимости (или, что чаще имеет место на практике почти линейной зависимостью,см.
Мультиколлинеарность), отбрасывая зависимые величины, оставляя только линейно-независимый "базис", эффективно понижая размерность задачи. Общая идея
метода главных компонент - отбросить малые (по тому или иному принципу) собственные числа матрицы

(которые для симметричной матрицы неотрицательны), заменив их на ноль, и работать только с в которой отличны от нуля только оставшиеся главные собственные числа.
Про метод регуляризации, применительно к задаче обращения матрицы

, скажу подробнее - он мне кажется наиболее подходящим к вашей задаче. В нем предлагается заменить ("некорректную" при высокой обусловленности

) задачу решения системы

на ("корректную" при всех

) задачу минимизации
![$\|{\bf A}{\bf X}-{\bf E}\|^2+\gamma \|{\bf X}-{\bf X}_0\|^2\xrightarrow[{\bf X}]{} \min$ $\|{\bf A}{\bf X}-{\bf E}\|^2+\gamma \|{\bf X}-{\bf X}_0\|^2\xrightarrow[{\bf X}]{} \min$](https://dxdy-01.korotkov.co.uk/f/8/6/5/865e1d03442700e7c13816da57c3869482.png)
, где

- "априорная оценка" решения

(если ее нет, то обычно берут

), а скалярный параметр

- параметр регуляризации (о его выборе - ниже). Итоговое "регуляризовонное" решение имеет вид

Если

, то в пределе

получим псевдообратную матрицу

. (В вашем случае симметричной матрицы, естественно,

.)
Метод регуляризации по сравнению с методом псевдообратной матрицы дает возможность более гибко влиять на результат, управляя параметром

(а также учитывать априорную информацию о предполагаемом решении через

, если таковая имеется). Чем больше

- тем выше устойчивость решения, но тем больше и отличие регуляризованной задачи от исходной. Поэтому общий принцип подбора параметра регуляризации - брать минимально необходимое

или чуть больше. На практике в качестве

может выступать величина порядка квадрата абсолютной допустимой ошибки в ответе

или несколько меньшая величина (тут могут помочь численные эксперименты). (В литературе по методам регуляризации описаны автоматизированные процедуры подбора

).
В заключение: метод регуляризации применительно к задаче анализа матриц ковариаций случайных величин называется для случая
ридж(или гребневой)-регрессией. Современный обзор этого и других методов можно посмотреть, например, в
Методы выбора регрессионных моделей.