Функции ошибки в нейронных сетях.Как выводится формула?

[Andrew Bear]

Непонятно как вывелась формула подчеркнутая красным.

[Otta]

Раскрыли скобочки в функции $RSS$, переставили, где надо, транспонированные, продифференцировали по оцениваемому параметру, производную приравняли к нулю. Решили систему, в том случае, когда она решается.

Если этих объяснений недостаточно - можно открыть любой учебник по статистике или смежной дисциплине в разделе Множественный регрессионный анализ, метод наименьших квадратов. Это везде есть, с той или иной долей подробности.

[kotenok gav]

(Оффтоп)

А что это за книга?

[Евгений Машеров]

Использована техника матричного дифференцирования. Её описание можно найти во многих источниках, например
http://www.machinelearning.ru/wiki/imag ... minar2.pdf
http://www.machinelearning.ru/wiki/imag ... -Gauss.pdf

[kotenok gav]

kotenok gav в сообщении #1487039 писал(а):

А что это за книга?

Кажется, нашел - "Глубокое обучение. Погружение в мир нейронных сетей", авторы - С. Николенко, А. Кадурин, Е. Архангельская.

[Andrew Bear]

Otta в сообщении #1486720 писал(а):

Раскрыли скобочки в функции $RSS$, переставили, где надо, транспонированные, продифференцировали по оцениваемому параметру, производную приравняли к нулю. Решили систему, в том случае, когда она решается.

Если этих объяснений недостаточно - можно открыть любой учебник по статистике или смежной дисциплине в разделе Множественный регрессионный анализ, метод наименьших квадратов. Это везде есть, с той или иной долей подробности.

Почитал в 1 томе Айвазяна на эту тему, все равно подробных выкладок не нашел. Ниже попытался вывести сам.

Евгений Машеров в сообщении #1487040 писал(а):

Использована техника матричного дифференцирования. Её описание можно найти во многих источниках, например
http://www.machinelearning.ru/wiki/imag ... minar2.pdf
http://www.machinelearning.ru/wiki/imag ... -Gauss.pdf

$\frac{d((y-\chi\omega )^T(y-\chi\omega))}{d\omega}$=$\frac{d(y-\chi\omega )^T}{d\omega}(y-\chi\omega )+(y-\chi\omega )^T\ \frac{d(y-\chi\omega )}{d\omega}$=$(-\chi)^T (y-\chi\omega)+(y-\chi\omega)^T (-\chi)

Так?А дальше?

[Otta]

Andrew Bear

Andrew Bear в сообщении #1489359 писал(а):

Почитал в 1 томе Айвазяна

В томе два посмотрите. Ну и материалами по ссылкам воспользуйтесь после того, как посмотрите.

[Andrew Bear]

Otta в сообщении #1489373 писал(а):

Andrew Bear

Andrew Bear в сообщении #1489359 писал(а):

Почитал в 1 томе Айвазяна

В томе два посмотрите. Ну и материалами по ссылкам воспользуйтесь после того, как посмотрите.

Да, действительно во 2-ом томе все есть.

Спасибо Вам за помощь.

-- 27.10.2020, 15:27 --

Евгений Машеров в сообщении #1487040 писал(а):

Использована техника матричного дифференцирования. Её описание можно найти во многих источниках, например
http://www.machinelearning.ru/wiki/imag ... minar2.pdf
http://www.machinelearning.ru/wiki/imag ... -Gauss.pdf

Спасибо.

(Оффтоп)

А не подскажите материал где бы все это было с выводами и доказательствами?В институте в курсе линейной алгебры нам про это не рассказывали.

-- 27.10.2020, 15:27 --

kotenok gav в сообщении #1487396 писал(а):

kotenok gav в сообщении #1487039 писал(а):

А что это за книга?

Кажется, нашел - "Глубокое обучение. Погружение в мир нейронных сетей", авторы - С. Николенко, А. Кадурин, Е. Архангельская.

(Оффтоп)

Да, это она.