2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1, 2
 
 Re: Метопты - метод градиентного спуска
Сообщение20.09.2009, 14:19 
id в сообщении #244968 писал(а):
Ну а так как $\delta_0$ должно быть больше $\delta$, следует и то, что приближение с $\delta_0$ будет выскакивать.

Это правда, но само по себе ни о чём не говорит. Мы и не надеялись на то, что оно не выскочит. Противоречие не в выскакивании, а в нестремлении к нулю приращений функции.

 
 
 
 Re: Метопты - метод градиентного спуска
Сообщение20.09.2009, 14:24 
ewert
Да, теперь ясно. Спасибо за подробное разъяснение!

P.S. Ссылки на хорошие книги по теме тем не менее все еще приветствуются, в стандартном учебники ничего особого не нашел.

 
 
 
 Re: Метопты - метод градиентного спуска
Сообщение20.09.2009, 14:37 
Ну не знаю, я давно уж книжек на эту тему систематически не читал. Могу лишь порекомендовать какой-нибудь стандартный учебник по численным методам/вычислительной математике типа Бахвалова. Скажем, то, что я тут излагал, там наверняка в том или ином виде есть.

 
 
 
 Re: Метопты - метод градиентного спуска
Сообщение20.09.2009, 15:11 
К сожалению, как таковой теоремы там вроде бы нет. В стандартном учебнике по метопатам Васильева вроде тоже.

 
 
 
 Re: Метопты - метод градиентного спуска
Сообщение20.09.2009, 16:40 
Ну да, глянул -- действительно нет. Зато там есть вроде бы более частная, но практически более важная теорема -- о связи скорости сходимости с числом обусловленности матрицы Гессе.

-------------------------------------------------------------------
Да, действительно, ввёл я Вас в заблуждние. Посмотрел несколько книжек, которые на слуху -- и впрямь, нет там такой теоремы. Странно.

 
 
 
 Re: Сходимость метода градиентного спуска
Сообщение05.05.2012, 11:46 
id в сообщении #244756 писал(а):
Интересует, есть ли где-нибудь доказательство сходимости метода градиентного спуска ( про минимизацию ф-ии многих переменных ) в предположении $f \in C^1 (\mathbb{R}^n)$ и выпукла. И вообще, верно ли это?


Рассуждения в этой ветке применимы к любой функции с ограниченными множествами уровня и единственной стационарной точкой.

Если нет условия единственности стационарной точки, то все предельные точки последовательности являются стационарными точками целевой функции.

По поводу правильного выбора шага по градиенту см. "Armijo rule" (правило Армихо).

 
 
 [ Сообщений: 21 ]  На страницу Пред.  1, 2


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group