Матричные производные

[MestnyBomzh]

Red_Herring
Кросс-энтропию. То есть

$$ \sum\limits_{i}^{} -y_i \cdot \log f_i$$

Покомпонентно реализация будет медленной. Матричные вычисления в скорости выигрывают в разы, поэтому и нужна матричная реализация

[Red_Herring]

Кто от чего зависит? По чему идет оптимизация? Где скаляры, где матрицы?

[MestnyBomzh]

Red_Herring в сообщении #1368490 писал(а):

Где скаляры, где матрицы?

У нас задача классификации рукописных цифр. Поэтому всего возможных классов - 10
$y$ - это матрица ответов (какой картинке соответсвует какая цифра) размера $(batch\_size, 10)$
$f$ - это матрица наших предсказаний, имеет размерность $(batch\_size, 10)$. То есть в каждой строке расположено 10 чисел - наши предсказания (вероятности) каждого из возможных классов.
$f$ при этом равно $f = softmax(XW + b)$. В шапке я изначально не указывал softmax просто для облегчения задачи

Red_Herring в сообщении #1368490 писал(а):

По чему идет оптимизация?

Оптимизация идет по $W, b$ - это параметры, которые мы можем настраивать

Red_Herring в сообщении #1368490 писал(а):

Кто от чего зависит?

$y$ не зависит ни от чего, это матрица правильных ответов. $f$ зависит от $X, W, b$. $X$ не зависит ни от кого - это входные данные, $W, b$ - настраиваемые параметры

-- 14.01.2019, 02:43 --

Ну и да, я изначально всё упростил до задачи оптимизации линейной функции лишь для того, чтобы показать, что у меня не сходятся размерности матриц

[Евгений Машеров]

Red_Herring в сообщении #1368434 писал(а):

Матричной производной не существует.

Ну зачем же так резко? Вполне разработанная техника. Содержательно не более чем способ получать матрицу частных производных с малой затратой труда по сравнению с поэлементным выписыванием, но удобно.
Любят там, где много матричных выражений линейных или, по крайности, не выше второй степени. Статистика, эконометрика, ТАУ...
Вот, скажем, здесь описание:
https://docplayer.ru/54167195-1-matrich ... vanie.html
Да, некоммутативность существенна.

[Red_Herring]

Евгений Машеров в сообщении #1368524 писал(а):

Вот, скажем, здесь описание

И где там "матричная производная"? Нет там такого термина, и ничего похожего в духе понимаемого ТС.
Они там дифференциалы пишут, и именно это я призываю делать ТС.

Разумеется, если есть скалярная функция матричного аргумента, то можно составить матрицу частных производных , но ТС подавай цепное правило, когда промежуточные функции не являются скалярами.

[MestnyBomzh]

Red_Herring в сообщении #1368601 писал(а):

но ТС подавай цепное правило, когда промежуточные функции не являются скалярами.

Да, цепное правило не применимо для произведений матриц, это я понял
И дифференциал я нашел, вопрос был только в том, как мне сделать шаг градиентного спуска, зная $d(L)$

[Sicker]

Red_Herring в сообщении #1368272 писал(а):

Например, производная (а лучше говорить о дифференциале!) $X^2$ будет $d(X^2)= X(dX) + (dX)X$, а $dX^{-1}=-X^{-1}(dx)X^{-1}$ и никак не иначе

А как вы получили последнее?
У меня просто получилось взять только дифференциалы натуральных степеней в некоммутирующей алгебре.

-- 20.01.2019, 16:11 --

Red_Herring
А, понятно
А как взять производную корня из матрицы? (и любого дробного показателя)
Ведь аналогичный прием не работает.