2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Почему нейросети делят на слои?
Сообщение26.09.2016, 12:58 
Нейроны сгруппированы слоями. Каждый нейрон одного слоя, связан со всеми нейронами следующего слоя, как и со всеми нейронами предыдущего слоя, но не связан с другими нейронами своего слоя. Сама нейронная сеть состоит как минимум из двух слоев нейронов – входного слоя и выходного слоя, между которыми может находиться произвольное количество, так называемых, скрытых слоев

https://geektimes.ru/post/136316/

Не совсем понял, откуда взялось это ограничение — строгое разделение на слои? И, соответствует ли это реальной биологической нервной системе?

 
 
 
 Re: Почему нейросети делят на слои?
Сообщение26.09.2016, 13:07 
Биологической — не очень, но зато это должно быть удобно в прикладном смысле. Нейросети ведь не для симуляции нервной системы нужны (там всё сложнее не только в том, кто с кем соединяется), а для более точно поставленных задач.

 
 
 
 Re: Почему нейросети делят на слои?
Сообщение26.09.2016, 13:17 
arseniiv
То есть, правильно я Вас понял, что в реальной нервной системе нет этого ограничения? Иными словами, там нет четко разделенных слоев?

 
 
 
 Re: Почему нейросети делят на слои?
Сообщение26.09.2016, 14:30 
Чётко разделённых слоёв, скорее всего, ни у кого нет. Ну если только у каких-нибудь простых организмов.

-- Пн сен 26, 2016 16:31:13 --

Важно-то не то, есть они или нет в нервной системе.

 
 
 
 Re: Почему нейросети делят на слои?
Сообщение26.09.2016, 18:00 
Аватара пользователя
nnetwork в сообщении #1154747 писал(а):
Не совсем понял, откуда взялось это ограничение — строгое разделение на слои?

Из удобства обучения. Градиентный спуск в разделенной на слои сети сводится к умножению матриц (и поэлементному применению нужной нелинейности). Хотя есть и варианты, когда мы подключаем слой не только к непосредственно следующему за ним, но и к более глубокому (т.е. разные пути от входа до выхода имеют разную длину) - MS недавно с помощью такой архитектуры первое место на не-помню-каком-мероприятии заняли.

А если разрешить циклы, то вообще непонятно, как считать выход.

 
 
 
 Re: Почему нейросети делят на слои?
Сообщение27.09.2016, 02:25 
Аватара пользователя
 !  ТС заблокирован как злостный клон. Тема закрыта и будет удалена.

 
 
 [ Сообщений: 6 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group