Сходимость метода градиентного спуска

[ewert]

id в сообщении #244968 писал(а):

Ну а так как $\delta_0$ должно быть больше $\delta$, следует и то, что приближение с $\delta_0$ будет выскакивать.

Это правда, но само по себе ни о чём не говорит. Мы и не надеялись на то, что оно не выскочит. Противоречие не в выскакивании, а в нестремлении к нулю приращений функции.

[id]

ewert
Да, теперь ясно. Спасибо за подробное разъяснение!

P.S. Ссылки на хорошие книги по теме тем не менее все еще приветствуются, в стандартном учебники ничего особого не нашел.

[ewert]

Ну не знаю, я давно уж книжек на эту тему систематически не читал. Могу лишь порекомендовать какой-нибудь стандартный учебник по численным методам/вычислительной математике типа Бахвалова. Скажем, то, что я тут излагал, там наверняка в том или ином виде есть.

[id]

К сожалению, как таковой теоремы там вроде бы нет. В стандартном учебнике по метопатам Васильева вроде тоже.

[ewert]

Ну да, глянул -- действительно нет. Зато там есть вроде бы более частная, но практически более важная теорема -- о связи скорости сходимости с числом обусловленности матрицы Гессе.

-------------------------------------------------------------------
Да, действительно, ввёл я Вас в заблуждние. Посмотрел несколько книжек, которые на слуху -- и впрямь, нет там такой теоремы. Странно.

[Aleksandr Pavlovich]

id в сообщении #244756 писал(а):

Интересует, есть ли где-нибудь доказательство сходимости метода градиентного спуска ( про минимизацию ф-ии многих переменных ) в предположении $f \in C^1 (\mathbb{R}^n)$ и выпукла. И вообще, верно ли это?

Рассуждения в этой ветке применимы к любой функции с ограниченными множествами уровня и единственной стационарной точкой.

Если нет условия единственности стационарной точки, то все предельные точки последовательности являются стационарными точками целевой функции.

По поводу правильного выбора шага по градиенту см. "Armijo rule" (правило Армихо).