Нелинейная регрессия

[alexey007]

Привет всем!

Задача ставиться следующим образом.
Есть некоторая модель $y=f(a_1,..,a_k,x_1,..x_n)$, которая задается в виде черного ящика(программный код). Есть экспериментальные данные $y_i$ и $x_{j}^i$. Нужно подобрать оптимальные параметры $a_k$ и указать их неопределенности(ошибки) $\Delta{a}$, которые удовлетворяют модели $y=f(a_1,..,a_k,x_1,..x_n)$ и экспериментальным данным. Так же есть утверждение, что есть хорошее начальное приближение всех параметров $a_{k}^0$.
Хотел бы попросить советов, рекомендаций и ссылки на литературу. Понимаю, что задача не простая, но тем не менее нужно простое решение, желательно сослаться на источник.
Собираюсь делать, так:
$\sum_i(y_i-f(a_1,..,a_k,x_{1}^i,..x_{n}^i))^2\to \min$
Оставить линейные члены в разложении функции $f(a_1,..,a_k,x_{1}^i,..x_{n}^i)\approx \sum_{j=1}^kf(a_{j}^0,x^i)+\sum_{j=1}^kf'_{a_j}(a_{j}^0,x^i)(a_j-a_{j}^0)$
Дальше решать обычную задачу МНК и находить $a_k$, потом найденные $a_k$ снова использовать для следующей итерации. Дальше ждать и надеяться пока все не сойдется к тому, что нужно.
Как находить ошибки $\Delta a_k$ для найденный $a_k$ совсем пока не имею представления.

[мат-ламер]

Нелинейную сумму квадратов Вы можете минимизировать методами нелинейной оптимизации, например, методом Ньютона. Смотрите в Википедии статью. Там есть разделы о методе Ньютона для задачи наименьших квадратов, о методе Гаусса-Ньютона. Есть ссылка на алгоритм Левенберга-Марквардта. Есть и ссылки на литературу. См. также книгу Демиденко Е.З. Линейная и нелинейная регрессия.

[Евгений Машеров]

Демиденко Е.З. "Линейная и нелинейная регрессии".