Метод наименьших квадратов не чувствительный к выбросам

[mrgloom_]

Допустим у меня есть переопределённая разреженная система линейных уравнений.
$m$ уравнений и $n$ неизвестных ($m>n$)
$k$ уравнений из этой системы мусор\выбросы.

можно было бы взять из $m$ все комбинации размера $n$ и потом взять лучший вариант, но это как то не оптимально, возможно есть вариант лучше?

например LMEDS, но я не уверен подходит ли это тут?

[Евгений Машеров]

Например, использовать вместо МНК метод наименьших модулей (МНМ) Решать, сводя к линейному программированию или вводя веса.

[AndrewSu]

Попробуйте Метод максимального правдоподобия
Здесь описанно его применение при решении систем.
Параграф №3 под названием "Error Modelling".

[rtfai]

Если $k/m$ мало, то можно применить бутстреп. Причем решать МНК системы $l$ уравнений, где $l \le n$, затем выбирать уравнения, решения которых мало отличаются от средних. Таким образом можно отсортировать "не мусорные" уравнения.

[Евгений Машеров]

Один из вариантов - "скользящий экзамен", когда модель строится на всех наблюдениях, кроме данного, а на данном проверяется. Для единичного выброса работает всегда, для множественных возможно, но не особо вероятно, "маскирование" выбросов. Ошибки прогноза сортируются по убыванию, берётся k наибольших.
Чтобы не обращать матрицу n раз, можно воспользоваться тождеством
$(A-BD^{-1}C)^{-1}=A^{-1}+A^{-1}B(D-CA^{-1}B)CA^{-1}$
где A - корреляционная матрица, рассчитанная по всей выборке, B и C - вектор значений регрессоров для данного наблюдения (исходный и транспонированый), D - будет единичной матрицей. Тогда число операций на одно обращение будет квадратично по n, где n - число регрессоров, а не кубично

[Theoristos]

Любопытно, не поможет ли оптимизация по медиане квадратов разности