2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Обратное распространение ошибки
Сообщение31.05.2013, 16:04 
Подскажите, не могу сообразить:
Метод обратного распространения ошибки применяется
для эффективного вычисления градиента для многослойных персептронов.
Многослойные персептроны представляют собой нейронные сети слоистой структуры,
в которых нет связей между нейронами одного слоя.

Существует такая разновидность искусственных нейронных сетей,
как сети прямого распространения с перекрестными связями.
По сути это многослойные персептроны,
в которых присутствуют связи между нейронами одного слоя.
При этом будем считать, что графы сетей остаются ациклическими.

Вопрос:
применим ли метод обратного распространения ошибки
к сетям прямого распространения с перекрестными связями?

 
 
 
 Posted automatically
Сообщение31.05.2013, 19:18 
Аватара пользователя
 i  Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Computer Science»
Перенёс в более соответствующий раздел. Кстати, в корне этого раздела была какая-то литература о нейронных сетях.

 
 
 
 Re: Обратное распространение ошибки
Сообщение02.07.2013, 12:47 
Аватара пользователя
roman_slepnev в сообщении #730805 писал(а):
Вопрос:
применим ли метод обратного распространения ошибки
к сетям прямого распространения с перекрестными связями?

Применим. В Neurosolution 6.26 есть соответствующий софт.

 
 
 
 Re: Обратное распространение ошибки
Сообщение02.07.2013, 17:17 
Получается, что производные вычисляются в результате топологической сортировки?

 
 
 
 Re: Обратное распространение ошибки
Сообщение02.07.2013, 21:40 
Аватара пользователя
roman_slepnev в сообщении #742468 писал(а):
Получается, что производные вычисляются в результате топологической сортировки?

У меня нет исходников пакета, не могу это проверить, но сам обучал сеть с полносвязным персептроном с 3-мя скрытыми слоями. НС обучается правильно.

 
 
 
 Re: Обратное распространение ошибки
Сообщение08.12.2013, 18:32 
Вот очень простое и понятное объяснение http://www.sysc.pdx.edu/classes/Werbos-Backpropagation%20through%20time.pdf.

Вообще нет никакой разницы, слоистая структура у нас или нет.

В указанной статье, кстати, приводится реализация в псевдокоде.

 
 
 [ Сообщений: 6 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group