МНК используется и для нелийненых задач. Вы ищете минимум
![$\displaystyle \sum_i^n [y_i-f(x_i;a)]^2$ $\displaystyle \sum_i^n [y_i-f(x_i;a)]^2$](https://dxdy-03.korotkov.co.uk/f/a/b/0/ab03144291e308f33d946ea7aa80f73e82.png)
, где

--- ветор искомых параметров. Например,

.
Взявши

, Вы всё равно прийдёте к линейной системе уравнений для поиска

. Мы здесь по-прежнему в рамках линейной регресси, ибо

линейно по

(хотя график

уже не прямая).
Если

нелинейно по

, то есть всякие методы. Например, линеаризация функции с последующими итерациями.
Пример нелинейной задачки --- построить прямую, ближайшую к заданному набору точек (не в смысле графика функции, а в смысле геометрического расстояния от точки до искомой прямой

. Поковыряйте, посмотрите какая она интересная.