Нелинейный МНК

[prozaeck]

Здравствуйте!

Нужно решить обратную задачу оптимизации. Поиск оптимальной модели нелинейное преобразование которой, дает данные наиболее близкие к измеренным данным. Очевидно решение с помощью нелинейного МНК. Пробовал солвер nonlin_least_squares из IMSL реализующий метод Левенберга - Марквардта. Как-то работает. Точнее сказать сложно, поскольку данные зашумлены. Так как у меня нет понимая алгоритма, то есть вопрос.

Чем метод Левенберга – Марквардта, работающий с векторной целевой функцией принципиально лучше (для задачи МНК) тех, что работают со скалярной (Ньютона, сопряженных градиентов). Я ведь могу суммировать (интегрировать) все значения целевой функции (функционала невязки) и пользоваться указанными методами. Вместо якобиана буду считать градиент.

Вопрос вызван тем, что ограничения сейчас задаются как штрафы, и добавляются к целевой функции, удлиняя ее вектор. Стабилизирующий функционал так же добавляется к вектору целевой функции удлиняя его. Меня сильно смущает это удлинение и разнородность вектора целевой функции. Так вообще делают?