Градиентный спуск и ямы

[Mr. Demetrius]

Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них? В вики нашёл только отписку в две строки, которая упоминает о стохастических методах. Что за методы конкретно - я не нашёл. Может, книженция какая-то есть или статья хорошая?

[fiktor]

В справке к системе Mathematica есть хорошая статья, описывающая различные методы оптимизации (минимизации).
http://reference.wolfram.com/mathematica/tutorial/ConstrainedOptimizationGlobalNumerical.html.

Например, есть такой метод. Выбираете наугад N (например, 1000) точек. Из каждой из них запускаете метод градиентного спуска. Таким образом у вас появилось N локальных минимумов (некоторые из которых, возможно, совпадают). Берете наименьший из них. Гарантии того, что это действительно глобальный минимум нет, но в общем результаты бывают довольно хорошими.

[Mr. Demetrius]

Спасибо, Математику я уважаю и как раз использую её для работы. В её справке почитать не додумался

А про N точек... Хотелось бы, конечно, найти какой-то надёжный метод, который рано или поздно в любом случае приведёт к глобальному минимуму... Что ж, буду искать.

[Lyoha]

Mr. Demetrius в сообщении #236465 писал(а):

Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них?

Никак не побороть. Только зная конкретную функцию можно строить соображения о локальности или глобальности минимума.

Mr. Demetrius в сообщении #236465 писал(а):

В вики нашёл только отписку в две строки, которая упоминает о стохастических методах. Что за методы конкретно - я не нашёл.

Берёшь сетку, или случайно выбираешь точки, от которых проводишь процедуры минимизации. Ну и делаешь вывод, что с какой-то вероятностью свалился в глобальный минимум.

[Mr. Demetrius]

Цитата:

Только зная конкретную функцию можно строить соображения о локальности или глобальности минимума.

Это ф-ия ошибки нейросети.

Цитата:

случайно выбираешь точки, от которых проводишь процедуры минимизации. Ну и делаешь вывод, что с какой-то вероятностью свалился в глобальный минимум.

Так, наверное, и поступлю. Правда, для ста точек обучение в сто раз длинне будет...

[Dementor]

Алгоритмов, чтобы гарантировали нет. Чем Вам не нравится метод Монте-Карло?

[Mr. Demetrius]

Блуждания... Никакой конкретики

[Aleksandr Pavlovich]

Mr. Demetrius в сообщении #236465 писал(а):

Подскажите, где можно почитать, как в методе градиентного спуска "побороть" нахождение локальных минимумов вместо глобального и застрявание в них? В вики нашёл только отписку в две строки, которая упоминает о стохастических методах.

М.б. ещё использовать "метод тяжёлого шарика" - в комбинации с запуском из N точек?