Метод наименьших квадратов

[Евгений Машеров]

Только вот регрессоры далеко не всегда оказываются линейно независимыми. Включит исследователь в список регрессоров себестоимость, прибыль и выпуск продукции и потом дооолго думает, отчего на выходе бред. А иногда и не думает, а считает, что так и надо. Или даже видит в этом открытие.

[nnosipov]

Евгений Машеров в сообщении #636130 писал(а):

Только вот регрессоры далеко не всегда оказываются линейно независимыми.

Возможно, но причём здесь данная задача? Здесь-то всё ясно --- определитель Вандермонда отличен от нуля понятно когда. Конечно, если речь идёт о приближённых вычислениях, то, наверное, возможны всякие эффекты.

[ole-ole-ole]

nnosipov в сообщении #636138 писал(а):

Евгений Машеров в сообщении #636130 писал(а):

Только вот регрессоры далеко не всегда оказываются линейно независимыми.

Возможно, но причём здесь данная задача? Здесь-то всё ясно --- определитель Вандермонда отличен от нуля понятно когда. Конечно, если речь идёт о приближённых вычислениях, то, наверное, возможны всякие эффекты.

А если в он вдруг оказался равным нулю (не про эту задачу, а вообще), то нужно выкидывать поочередно из него регрессоры и возвращть обратно до тех пор, пока не найдем "виноватых"?

[Евгений Машеров]

Как когда. В некоторых задачах оправдано ничего не выкидывать, а делать регуляризацию...

[nnosipov]

В теории всё просто: нужно оставить базисные (линейно независимые и такие, что через них можно линейно выразить все остальные). Как это делают практически, понятия не имею.

[ewert]

В теории всё просто. Для корректности задачи на МНК (т.е. для единственности её решения) безусловно необходимы две вещи: 1) линейная независимость базисных функций и 2) чтобы количество различных узлов (в случае, когда есть совпадающие) было не меньше, чем количество параметров искомого обобщённого многочлена. Это же и достаточно, если базисные функции, по которым строится тот обобщённый многочлен, образуют систему Чебышёва. Ну и есть зазор между этими требованиями, конечно.

Поскольку обычные алгебраические одночлены систему Чебышёва образуют безусловно -- критерием (т.е. необходимым и достаточным условием) корректности в этом простейшем варианте МНК является превышение количества различных узлов над степенью многочлена.