Как происходит глубинное обучение нейросети?

[Igor_Dmitriev]

Всё, что смог выяснить из прогуглившихся ссылок -- это то, что обучение происходит послойно.
Но как оно может происходить послойно? Мы тогда должны знать, какие результаты выдаст промежуточный слой? Если да -- то какой смысл во многих слоях? Откуда мы узнаём, что должны получить в промежуточных слоях?

[mihaild]

Мы считаем, что нейросеть - это просто функция от входа и параметров. Фиксируем вход, считаем производную по каждому параметру, и обновляем его независимо.
За счет послойной структуры, производная по параметрам предыдущего слоя выражается через производные по слоям следующего.

Т.е. в каждый момент времени каждый слой "должен" выдавать такой результат, чтобы последующие дали правильный ответ.

[Igor_Dmitriev]

То, что Вы написали, касается обычного обучения.
А как происходит глубинное?

[mihaild]

А что вы понимаете под "глубинным" (кстати deep обычно переводят как "глубокое", а не "глубинное") обучением, если не многослойные сети?

[Igor_Dmitriev]

То, что написано в вики
https://ru.wikipedia.org/wiki/%D0%93%D0%BB%D1%83%D0%B1%D0%B8%D0%BD%D0%BD%D0%BE%D0%B5_%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5

[mihaild]

Это слишком общее описание. Обычную многослойную feedforward нейросеть вы к глубокому обучению относите?

[Igor_Dmitriev]

Нет, не отношу.
Обыкновенный метод обратного распространения ошибки тоже не отношу к глубокому обучению.
Здесь я и пытаюсь выяснить, что к нему относят.

Ведь если

$BackPropagation = DeepLearning$,
то зачем выдумали новые названия, для путаницы?

[mihaild]

Ну вот под приведенную вами ссылку обычные сети с более чем одним слоем подходят.

Под "глубоким обучением", кажется, довольно редко понимают что-то, кроме нейронок. Как правило их учат градиентным спуском в разных вариациях (иногда и иначе - например, генетикой).

Igor_Dmitriev в сообщении #1202520 писал(а):

зачем выдумали новые названия, для путаницы?

Такое мнение тоже встречается

[Mihaylo]

Из википедии:

Цитата:

Алгоритмы глубокого обучения противопоставлены алгоритмам неглубокого обучения по количеству параметризованных преобразований, с которыми сталкивается сигнал, распространяющийся от входного слоя к выходному слою, где параметризованным преобразованием считается такой блок обработки данных, у которого есть обучаемые параметры, такие как веса или пороги.

Каждое параметризованное преобразование образует на основании входных данных некоторые понятия/представления об объектах. Если эти понятия/представления являются конечными ответами, то это получится неглубокое обучение с единственным параметризованным преобразованием. Понятия/представления могут развиваться в несколько этапов, на каждом этапе повышается уровень абстрактности. И это уже глубокое обучение.

Приводится пример, в той же статье википедии:

Цитата:

Наблюдение (например, изображение) может быть представлено многими способами, такими как вектор интенсивности значений на пиксель, или (в более абстрактной форме) как множество примитивов, областей определенной формы, и т. д. Некоторые представления позволяют легче решать поставленные задачи (например, распознавание лица или распознавание выражения лица).

Обозначенная идея выше звучит действительно круто, но возникает естественный вопрос: как правильно обучить эту сложнейшую структуру, ведь у нее многократно увеличивается число параметров (веса, пороги). Как правильно получить промежуточные понятия/представления? Ведь к ним не предъявлено никаких требований в каждой конкретной задаче. Есть требования (критерии правильности) только для выходных сигналов (конечных ответов) нейронной сети.

[mihaild]

Можете посмотреть на визуализацию обучения нейронки для простых случаев - например, чему учится каждый конкретный нейрон для многослойной ReLU сети для спирали.

Для получения "интересных" представлений используют автоэнкодеры - сети, обучаемые предсказывать $x \to x$, но со слоем малой размерности внутри. На этом внутреннем слое получается представление входа в виде вектора меньшей размерности, чем сам вход. При этом "правильного" представления нет - дважды обучая сеть на одних и тех же данных, мы легко можем получить разные представления. Важно, что во многих задачах оказывается, что потом эти представления можно успешно использовать где-то еще (например, в качестве входных данных для другой сети).