2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Книга Медведева и Потёмкина "нейронные сети"
Сообщение10.09.2009, 01:16 
Аватара пользователя


07/03/09
50
Доброго времени суток, уважаемые товарищи!
В книге Медведева и Потемкина «Нейронные сети» на странице 38 в разделе «2.2.2. Многослойные сети» есть такой абзац:
«Обозначим весовую матрицу, связанную с входами, через $IW^1^1$, верхние индексы которой указывают, что источником входов является первый слой (второй индекс) и адресатом является также первый слой (первый индекс). Элементы этого слоя, такие, как смещение $b^1$, вход функции активации $n^1$ и выход слоя $a^1$, имеют верхний индекс 1, чтобы обозначить, что они связаны с первым слоем. В дальнейшем для матриц весов входа и выхода слоя будут использованы обозначения IW (Input Weight) и LW (Layer Weight) соответственно»
Далее, на следующей странице (стр. 39) есть рисунок 2.12:
Изображение

Внимание, вопрос:
Зачем авторам книги понадобилась такая хитрая система обозначений матриц весовых коэффициентов разных слоёв? Ведь вместо двойных верхних индексов и разделения матриц весовых коэффициентов на «IW» и «LW» (тем более, что обозначение матрицы «IW» используется только для первого слоя нейронов, как видно из рисунка), на мой взгляд, можно было бы прекрасно обойтись единым обозначением матриц «IW» (или же «LW» (по вкусу)) с единственным верхним индексом, указывающим номер слоя, к которому относится эта матрица весовых коэффициентов. Тогда вместо исходных обозначений матриц на рисунке ($IW^1^1$ , $LW^2^1$ , $LW^3^2$ ), получим следующие обозначения: $IW^1$ , $IW^2$ , $IW^3$ , которые весьма облегчают понимание сути дела.
Согласны ли вы с моим мнением?

 Профиль  
                  
 
 Re: Книга Медведева и Потёмкина "нейронные сети"
Сообщение10.09.2009, 10:01 
Аватара пользователя


07/03/09
50
...или $W^1$, $W^2$, $W^3$, например...

 Профиль  
                  
 
 Re: Книга Медведева и Потёмкина "нейронные сети"
Сообщение10.09.2009, 11:58 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Система обозначений - дело вкуса авторов. Вряд ли об этом имеет смысл спорить. Одним нравится минимализм; другие предпочитают в обозначении указывать много дополнительной информации. Своими обозначениями авторы подчеркивают, в частности, что $IW$ - это входные независимые переменные, а $LW$ - функции от них; это объекты разной природы с разными свойствами. Если оставить один индекс, то встретив где-нибудь в середине текста какое-нибудь $W^4$, может возникнуть вопрос - это вход четвертого слоя или выход. Потенциально это может привести к ошибке в формулах. Авторы решили подстраховаться, указывая два индекса. Как известно, избыточность - средство обнаружения и исправления ошибок. Определенный резон в этом есть.

 Профиль  
                  
 
 Re: Книга Медведева и Потёмкина "нейронные сети"
Сообщение10.09.2009, 16:53 
Аватара пользователя


07/03/09
50
PAV, спасибо. Мысль я уловил.
Однако, если предварительно договориться о том, что каким-нибудь $W^i$ следует обозначать весовые коэффициенты i-го слоя, а каким-нибудь $a^i$ - выходы i-го слоя, то вопросов, приводящих к путанице, на мой взгляд, возникать не должно.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group