2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Нейронные сети - смысл вычислений
Сообщение18.07.2015, 05:43 
Я хотел бы понять смысл вычислений в нейронных сетях. Толстые книги читать лень, а в интернете простого объяснения не найти. Вот как, по моему, выгляди простая нейронная сеть.
Имеются входные данные $x_1, x_2$. Имеется выходное значение $z$. Беруться произвольные веса $w_1, w_2$ и какая-то функция обучения $f$ (пока плохо понимаю какая именно). Далее весa правятся до достижения приемлемого уровня ошибки. Правка происходит по формуле.
$\Delta w_1 = \frac{df(y)}{dy}|_{x_1w_1+ x_2w_2}(f(x_1w_1+ x_2w_2) -z)x_1$ тоже самое для $\Delta w_2$

Я не понимаю куда это все ведёт. С одно стороны очень похоже на минимизацию кваратичного отклонения $g=(f(x_1w_1+ x_2w_2)-z)^2$

$\frac{\partial g(w_1)}{\partial w_1} = 2 (f(x_1w_1+ x_2w_2) - z) \frac{df}{dy}|_{x_1w_1+ x_2w_2}x_1=0$

А далее это что шаг Нютоновского метода для отыскания ноля производной? Как-то не похоже.

 
 
 
 Re: Нейронные сети - смысл вычислений
Сообщение18.07.2015, 19:21 
Извиняюсь за ответ на собственный вопрос. Похоже это метод градиентного спуска по отношению к квадратичному отклонению.

(Оффтоп)

Почему то не смог отредактировать свое собственное сообщение

 
 
 [ Сообщений: 2 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group