Проблема локального минимума в нейронной сети

[alhimikoff]

Решена ли проблема захода в локальный минимум при обучении нейронной сети?
Накидал нейронку с обучением обратным распространением. Некоторое время ошибка бодро идёт вниз, и зависает на некотором числе. Подвигав веса, иногда начинается дальнейшее снижение.

[Paragraph]

Нет не решена. Но, как оказывается, это не так сильно мешает обучению. Потому как "большинство локальных минимумов дают результаты близкие к глобальному минимуму". Погуглите “almost all local minimum have very similar function value to the global optimum” в контексте deep learning. То, что Вы наблюдаете, это скорее всего седловые точки http://www.offconvex.org/2016/03/22/saddlepoints/

[alhimikoff]

Лучше то не становится от того что это седловая точка. Не учится сеть и всё тут.

[ozheredov]

alhimikoff

Метод тяжелого шарика пробовали?

[alhimikoff]

ozheredov
Не пробовал.
Paragraph
Да прямо уж нет плохих локальных минимумов совсем ни в каких задачах?? В статье полно ограничений вроде "число нейронов равно размеру обучающей выборки", если даже всё правильно доказали.

Deep learning это торговая марка. Если у меня сеть три слоя - это Deep learning или нет? Сколько слоёв надо чтоб стало deep?

[ozheredov]

alhimikoff в сообщении #1340310 писал(а):

Deep learning или нет? Сколько слоёв надо чтоб стало deep?

С какой по счёту песчинки начинается куча песка?

Вот как только у вас возникнет гемор с параличом весов первого слоя, так знайте, что это оно — глубокое обучение

Три слоя это ни о чем

[alhimikoff]

ozheredov
В теории 2 слоя хватит для всего:
http://nethash.ru/posobie-po-discipline ... tml?page=7

[ozheredov]

alhimikoff в сообщении #1340404 писал(а):

В теории 2 слоя хватит для всего:

Это называется один (скрытый) слой :). На реальных изображениях такая сетка затребует огромного объёма скрытого слоя и затем переобучится. Фишка deep learning состоит в эффективном сжатии информации, то есть генерировании признаков на каждом последующем слое

[Andrey_Kireew]

alhimikoff после попадания в локальный минимум можно перейти к случайному поиску, до тех пор, пока функционал не улучшится, потом оптимизация продолжается с помощью основного алгоритма. Это просто и главное - работает.

Вообще, случайному поиску неведомы такие проблемы, как локальный максимум. Но работает он как "черепаха".

[Mihaylo]

(Оффтоп)

alhimikoff в сообщении #1340310 писал(а):

Deep learning это торговая марка.

Какой-то заштампованный штамп.

[Rasool]

Andrey_Kireew в сообщении #1340813 писал(а):

alhimikoff после попадания в локальный минимум можно перейти к случайному поиску, до тех пор, пока функционал не улучшится, потом оптимизация продолжается с помощью основного алгоритма. Это просто и главное - работает.

Вообще, случайному поиску неведомы такие проблемы, как локальный максимум. Но работает он как "черепаха".

Имитация отжига сюда годится?

[Pavia]

alhimikoff

alhimikoff в сообщении #1340310 писал(а):

Deep learning это торговая марка.

Нет, не марка. Но Вы отгадали. Как сказал один маркетолог это просто фантазийное слово - слово без чётких рамок и понятий, такое же как и слова «эффект» и «харизма». Или как говорят философы эти понятия растяжимые.
Что-бы не в водить в заблуждения других людей принято считать глубинными сетями от 3-х и более слоёв.

alhimikoff в сообщении #1340404 писал(а):

ozheredov
В теории 2 слоя хватит для всего: http://nethash.ru/posobie-po-discipline ... tml?page=7

Только для задачи классификации известных данных. Но перед НС ещё ставят задачи угадывать решения для неизвестных данных.
Помните когда у Гугла НС сломалось? Стоило к фотографии панды добавить немного Гаусового шум и НС начинала говорить что на фото Гибон.

alhimikoff в сообщении #1340100 писал(а):

Решена ли проблема захода в локальный минимум при обучении нейронной сети?

Для текущего уровня развития задача решена достаточно хорошо. Но над теорий можно и поработать.

Rasool

Rasool в сообщении #1340942 писал(а):

Имитация отжига сюда годится?

Годится. Но я думаю Andrey_Kireew имел ввиду встряску.

alhimikoff
Помимо поиска случайного пути и тяжёлого шарика, есть ещё отбор по поколениям. Дойдя до локального минимума НС повторно обучается, но с внесёнными случайных изменениями. Так повторяется несколько поколений, из которых выбирается поколение с лучшим результатом.

Кстати, а почему Вы не используете современные фремфорки - как к примеру TenserFlow?

[Andrey_Kireew]

Годится. Насколько хорошо - зависит от задачи.

-- 24.09.2018, 00:25 --

Pavia в сообщении #1340952 писал(а):

Но перед НС ещё ставят задачи угадывать решения для неизвестных данных

Это и есть задача классификации в общепринятом её понимании, иначе это не классификатор, а алгоритм компрессии данных. Сходства между ними, конечно, прослеживаются, но цели совсем разные. Так, что если "классификатор" распознаёт только изображения, использовавшиеся при его настройке (обучении), то это вообще ниочём.

[alien308]

Подобраны параметры алгоритмов оптимизации так что бы при поиске не происходило проваливания в мелкие минимумы. Используются стохастические (по мне так излишне сильно сказано) алгоритмы, когда минимизация на последующих шагах делается на непересекающихся подмножествах обучающего набора. В результате паразитные минимумы на разных подмножествах разные и из них вытряхивается. А глобальные минимумы на разных подмножествах близки. Как говорилось в предыдущих ответах считается что разница между хорошими минимумами несущественна.
Посмотрите Гудфеллоу, Глубокое обучение.

[Andrey_Kireew]

Интересное развитие идеи "бэггинг". Чего только не придумают.
Действительно, получается глубокое обучение. Причём, применять его можно к любой нелинейной сети, даже двухслойной. И этап предобучения как таковой отсутствует.

Но это больше борьба с шумами, а не выход из локальных минимумов. Они ведь могут быть истинными, а не обусловленными шумами. Тогда этот подход ничего не даст.