Обратное распространение ошибки

[roman_slepnev]

Подскажите, не могу сообразить:
Метод обратного распространения ошибки применяется
для эффективного вычисления градиента для многослойных персептронов.
Многослойные персептроны представляют собой нейронные сети слоистой структуры,
в которых нет связей между нейронами одного слоя.

Существует такая разновидность искусственных нейронных сетей,
как сети прямого распространения с перекрестными связями.
По сути это многослойные персептроны,
в которых присутствуют связи между нейронами одного слоя.
При этом будем считать, что графы сетей остаются ациклическими.

Вопрос:
применим ли метод обратного распространения ошибки
к сетям прямого распространения с перекрестными связями?

[Deggial]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Computer Science»
Перенёс в более соответствующий раздел. Кстати, в корне этого раздела была какая-то литература о нейронных сетях.

[Eugeen1948]

roman_slepnev в сообщении #730805 писал(а):

Вопрос:
применим ли метод обратного распространения ошибки
к сетям прямого распространения с перекрестными связями?

Применим. В Neurosolution 6.26 есть соответствующий софт.

[roman_slepnev]

Получается, что производные вычисляются в результате топологической сортировки?

[Eugeen1948]

roman_slepnev в сообщении #742468 писал(а):

Получается, что производные вычисляются в результате топологической сортировки?

У меня нет исходников пакета, не могу это проверить, но сам обучал сеть с полносвязным персептроном с 3-мя скрытыми слоями. НС обучается правильно.

[roman_slepnev]

Вот очень простое и понятное объяснение http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf.

Вообще нет никакой разницы, слоистая структура у нас или нет.

В указанной статье, кстати, приводится реализация в псевдокоде.