Нелинейный регрессионный анализ - МНК

[Keris82]

Доброго времени суток.
У меня такой вопрос, может немного странный.
Можно ли использовать МНК (Метод Наименьших Квадратов) при нахождении нелинейной регрессии. Если да, то как? Если нет, то почему?

Насколько я знаю МНК используется только для линейной регрессии дабы снизить к минимуму среднеквадратическое отклонение. А почему его нельзя применить для нелинейной?

[PAV]

МНК можно применять в разных случаях. В общем виде Вы имеете набор точек $(x_1,y_1),\ldots,(x_n,y_n)$ и хотите аппроксимировать зависимость игреков от иксов некоторой функцией $f$, зависящей от неизвестных параметров $a_1,\ldots,a_k$. Решение задачи методом МНК - это минимизация по данным параметрам выражения

$$ \sum\limits_{i=1}^n (y_i-f(x_i;a_1,\ldots,a_k))^2 $$

Функция $f$ при этом может быть любой, в том числе и нелинейной.

[Алексей К.]

МНК используется и для нелийненых задач. Вы ищете минимум $\displaystyle \sum_i^n [y_i-f(x_i;a)]^2$, где $a$ --- ветор искомых параметров. Например, $f(x;a)=a_0+a_1x$.
Взявши $f(x;a)=a_0+a_1x+a_2x^2+\ldots$, Вы всё равно прийдёте к линейной системе уравнений для поиска $a_i$. Мы здесь по-прежнему в рамках линейной регресси, ибо $f$ линейно по $a$ (хотя график $f(x)$ уже не прямая).

Если $f(x;a)$ нелинейно по $a_i$, то есть всякие методы. Например, линеаризация функции с последующими итерациями.
Пример нелинейной задачки --- построить прямую, ближайшую к заданному набору точек (не в смысле графика функции, а в смысле геометрического расстояния от точки до искомой прямой
$y\sin\alpha-x\cos\alpha+L=0$. Поковыряйте, посмотрите какая она интересная.

[Keris82]

PAV, Алексей К.:
Понятно. Спасибо за информацию.