Ну, это замечательно, что Вы сингулярным разложением владеете. А теперь давайте посмотрим, как у нас с ним, скажем, решение систем уравнений


Поскольку U и V ортогональны, домножаем на транспонирование и...

И обнаруживается, что у нас получается, что надо обращать диагональную матрицу S. Диагональные обращать не просто, а очень просто. Диагональные элементы заменяются на обратные к ним. Готово!
Но вот если исходная матрица была неполного ранга, некоторые диагональные равны нулю. А когда матрицу А возмутили - возмутились на величину такого же порядка, как возмущение, и элементы S. Стали ненулевыми, и теперь можно обращать, да. Но вот возмущение у нас малое, матрица

от матрицы А отличается весьма слабо, однако обратные к самым малым элементам S стали самыми большими. То есть ответ стал определяться в основном вот этими самыми произвольно нами изменёнными элементами S (ну, или возмущениями A, тоже произвольными). Иначе говоря, формально ответ есть, благо "ранг полный", а смысл его успел убежать.