2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Градиентный спуск и ямы
Сообщение20.08.2009, 12:10 
Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них? В вики нашёл только отписку в две строки, которая упоминает о стохастических методах. Что за методы конкретно - я не нашёл. Может, книженция какая-то есть или статья хорошая?

 
 
 
 Re: Градиентный спуск и ямы
Сообщение20.08.2009, 15:17 
В справке к системе Mathematica есть хорошая статья, описывающая различные методы оптимизации (минимизации).
http://reference.wolfram.com/mathematica/tutorial/ConstrainedOptimizationGlobalNumerical.html.

Например, есть такой метод. Выбираете наугад N (например, 1000) точек. Из каждой из них запускаете метод градиентного спуска. Таким образом у вас появилось N локальных минимумов (некоторые из которых, возможно, совпадают). Берете наименьший из них. Гарантии того, что это действительно глобальный минимум нет, но в общем результаты бывают довольно хорошими.

 
 
 
 Re: Градиентный спуск и ямы
Сообщение20.08.2009, 15:21 
Спасибо, Математику я уважаю и как раз использую её для работы. В её справке почитать не додумался :oops:

А про N точек... Хотелось бы, конечно, найти какой-то надёжный метод, который рано или поздно в любом случае приведёт к глобальному минимуму... Что ж, буду искать.

 
 
 
 Re: Градиентный спуск и ямы
Сообщение20.08.2009, 16:48 
Mr. Demetrius в сообщении #236465 писал(а):
Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них?

Никак не побороть. Только зная конкретную функцию можно строить соображения о локальности или глобальности минимума.
Mr. Demetrius в сообщении #236465 писал(а):
В вики нашёл только отписку в две строки, которая упоминает о стохастических методах. Что за методы конкретно - я не нашёл.

Берёшь сетку, или случайно выбираешь точки, от которых проводишь процедуры минимизации. Ну и делаешь вывод, что с какой-то вероятностью свалился в глобальный минимум.

 
 
 
 Re: Градиентный спуск и ямы
Сообщение20.08.2009, 16:52 
Цитата:
Только зная конкретную функцию можно строить соображения о локальности или глобальности минимума.
Это ф-ия ошибки нейросети.

Цитата:
случайно выбираешь точки, от которых проводишь процедуры минимизации. Ну и делаешь вывод, что с какой-то вероятностью свалился в глобальный минимум.
Так, наверное, и поступлю. Правда, для ста точек обучение в сто раз длинне будет... :(

 
 
 
 Re: Градиентный спуск и ямы
Сообщение21.08.2009, 12:36 
Алгоритмов, чтобы гарантировали нет. Чем Вам не нравится метод Монте-Карло?

 
 
 
 Re: Градиентный спуск и ямы
Сообщение21.08.2009, 12:41 
Блуждания... Никакой конкретики :)

 
 
 
 Re: Градиентный спуск и ямы
Сообщение05.05.2012, 11:51 
Mr. Demetrius в сообщении #236465 писал(а):
Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них? В вики нашёл только отписку в две строки, которая упоминает о стохастических методах.

М.б. ещё использовать "метод тяжёлого шарика" - в комбинации с запуском из N точек?

 
 
 [ Сообщений: 8 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group