Когда метод обратного распространения не работает?

[reptiloid]

Проводим обучение методом обратного распространения.

Подали 1-й образ. Скорректировали веса. Улучшилось распознавание 1-го образа.
Подали 2-й образ. Скорректировали веса. Улучшилось распознавание 2-го образа, но 1-й образ теперь вообще не узнаём.
И как не выбирай порядок их подачи хорошее распознавание этих образов не достигается.

Бывают ли такие ситуации при обучении НС?

[mihaild]

Да, бывают. Например, если вы учите модель без признаков на двух объектов разных классов:)

[Mihaylo]

Обучайте образам одновременно, а не друг за другом.

[reptiloid]

Mihaylo
При одновременном обучении такая ситуация в порядке вещей. Один образ учит в одну сторону, другой в другую, в сумме 0.

[Paragraph]

И не только НС могут вести себя так. Если в методе обучения присутствует градиент, то величина градиентного шага может быть выбрана неудачно и метод не сойдется никогда, в частности, по описанному сценарию.