Видимо, нелегко давать советы, и находить чужие ошибки, не имея элементарных представлений о предмете обсуждения.
Andrey_KireewВы сами весьма неважно объясняете, поэтому не стоит над слушателями иронизировать и т.д. У
feedinglight здравый смысл вполне присутствует (хотя пока, кажется, знаний еще не много).
Объясним (для
Евгений Машеров и
feedinglight; впрочем, для первого большая часть нижеследующего тривиальна), какой именно вариант метода Гаусса-Ньютона используется. Обычная формулировка содержится в
Ортега, Рейнболдт, Итерационные методы решения систем со многими неизвестными, параграф 8.5;
Дэннис, Шнабель, Численные методы безусловной оптимизации и решения нелинейных уравнений, пар. 10.2.
Рассмотрим отображение

, класса

. (ТС называет

"вектором невязок", соответствующим данному

).
Мы хотим найти

такое, что

, или, по крайней мере, такое, на котором функция

(

, в обозначениях ТС) достигает локального минимума.
Пусть

--- производная отображения

в точке

, т.е.

--- матрица Якоби (размера

).
Обычный метод Ньютона есть

(для случая, когда

, а матрица

невырождена, в том числе в точке

, являющейся искомым решением уравнения

). (
Замечание. Метод Ньютона для системы

, и метод Ньютона для минимизации функции

--- это несколько разные вещи).
Итерационный процесс

---
демпфированный метод Ньютона.

выбираются так, чтобы обеспечить убывание

(например).
-- 26.05.2019, 19:56 --В общем же случае (когда

или

вырождено) формула модифицируется как

где

--- псевдообратная по Муру-Пенроузу матрицы

. Это (демпфированный) метод Гаусса-Ньютона.
Если

---

матрица, причем

и

, то

. В этом случае формула приобретает вид

Вообще говоря, взятие псевдообратной --- неустойчивая операция. Причина в том, что

может быть вырождена. Поэтому прибегают к такой регуляризации:

где

. Это называется "метод Левенберга-Марквардта". Формула из стартового поста ТС --- это как раз формула метода ЛМ. (
Замечание. Разные названия, связанные с методом Ньютона, часто употребляются одни вместо других. Тут есть путаница).
ТС, как я понял, использует следующую регуляризацию ГН (в исправленном посте). Возьмем какое-либо

. Рассмотрим такое отображение

Также рассмотрим
Ясно, что когда

, то точка минимума для

стремится к таковой для

. С другой стороны, соответствующая матрица Якоби есть

и тем самым имеет ранг

. Поэтому можно рассмотреть демпфированную итерацию Гаусса-Ньютона для

. Она имеет вид

После небольших преобразований последняя формула переписывается как

Обозначая

, получим ту же формулу, что и ТС.