Добрый день!
Передо мной стоит следующая задача:
есть некоторая реккурентная регрессионная модель вида
, где
и
нелинейны относительно параметров
, а
- стандартные нормальные величины.
Для нахождения коэффициентов регрессии
использую метод Левенберга-Марквардта.
Итак возникают два вопроса:
1. не мог бы кто-нибудь поделиться соображениями о выборе параметра регуляризации в методе Левенберга-Марквардта и начального вектора параметров в том же алгоритме. Единственное, что нашел, так это сообщение о том, что "выбор хороших начальных параметров - дело очень важное", а как это реализовать...не ясно пока. Еще нашел вот такую вещь:
Цитата:
Choice of damping parameter
Various more-or-less heuristic arguments have been put forward for the best choice for the damping parameter λ. Theoretical arguments exist showing why some of these choices guaranteed local convergence of the algorithm; however these choices can make the global convergence of the algorithm suffer from the undesirable properties of steepest-descent, in particular very slow convergence close to the optimum.
The absolute values of any choice depends on how well-scaled the initial problem is. Marquardt recommended starting with a value λ0 and a factor ν>1. Initially setting λ=λ0 and computing the residual sum of squares S(β) after one step from the starting point with the damping factor of λ=λ0 and secondly with λ0/ν. If both of these are worse than the initial point then the damping is increased by successive multiplication by ν until a better point is found with a new damping factor of λ0νk for some k.
If use of the damping factor λ/ν results in a reduction in squared residual then this is taken as the new value of λ (and the new optimum location is taken as that obtained with this damping factor) and the process continues; if using λ/ν resulted in a worse residual, but using λ resulted in a better residual then λ is left unchanged and the new optimum is taken as the value obtained with λ as damping factor.
но теоретической обоснованности такого метода выбора параметра тоже не пойму.
2. Каким образом следует оценить параметр
стандартного отклонения. В отличие от стандартной нелинейной регрессионной модели при случайной величине стоит коэффициент
, который сам зависит от вектора параметров. Будет ли правильным применения правила
, как мы в таком случае учитываем множитель
?
Буду признателен за помощь или совет!