но поищите в Академии Google по proximal algorithms
.
Я извиняюсь. Эта регуляризация поможет, если мы находимся вблизи точек, для которых нарушается гладкость минимизируемой функции. Но, как я понял из текста, проблемы возникают гораздо раньше. Тогда можно попробовать тихоновскую регуляризацию. То есть к нашей функции добавить ещё довесок в виде однополостного параболоида с осью в текущей точке.