Оптимизация. Автоматический выбор шага

[MKras]

Здравствуйте,
Подскажите пожалуйста, как правильно автоматически выбрать шаг вдоль напрявления антиградиента (метод градиентного спуска). На сколько я смотрел (интернет, и книжки), предлагается использовать метод одномерного поиска, в частности метод золотого сечения. На сколько я понимаю, методы одномерного поиска работают на заданном интервале (или я не прав?). Что делать, если я не могу заранее предвидеть даже порядок этих величин (границ шага)?

[ewert]

Есть стандартная стратегия. Вблизи точки минимума целевая функция вдоль линии антиградиента приблизительно квадратична. Для параболы секущая на точку минимума имеет ровно вдвое меньший наклон, чем казательная. Задайте начальный сдвиг вдоль антиградиента произвольно и увеличивайте его в определённое к-во раз (скажем, вдвое, но этот параметр можно варьировать), пока значение целевой функции не окажется выше значения, высчитываемого из соотв. ожидаемого уравнения секущей (а рано или поздно это произойдёт). Потом двигайтесь в обратную сторону, пока это неравенство не начнёт нарушаться, на этом и остановитесь. Затем -- следующий шаг.

[MKras]

Спасибо за ответ, но нельзя ли немного по подробнее...

Цитата:

пока значение целевой функции не окажется выше значения, высчитываемого из соотв. ожидаемого уравнения секущей

Посмотрел уравнение секущей, но не понимаю как. Можно по действиям расписать?