Где скаляры, где матрицы?
У нас задача классификации рукописных цифр. Поэтому всего возможных классов - 10
![$y$ $y$](https://dxdy-02.korotkov.co.uk/f/d/e/c/deceeaf6940a8c7a5a02373728002b0f82.png)
- это матрица ответов (какой картинке соответсвует какая цифра) размера
![$(batch\_size, 10)$ $(batch\_size, 10)$](https://dxdy-04.korotkov.co.uk/f/f/0/9/f09148fc36e68d8015fbbe8347efe99282.png)
![$f$ $f$](https://dxdy-02.korotkov.co.uk/f/1/9/0/190083ef7a1625fbc75f243cffb9c96d82.png)
- это матрица наших предсказаний, имеет размерность
![$(batch\_size, 10)$ $(batch\_size, 10)$](https://dxdy-04.korotkov.co.uk/f/f/0/9/f09148fc36e68d8015fbbe8347efe99282.png)
. То есть в каждой строке расположено 10 чисел - наши предсказания (вероятности) каждого из возможных классов.
![$f$ $f$](https://dxdy-02.korotkov.co.uk/f/1/9/0/190083ef7a1625fbc75f243cffb9c96d82.png)
при этом равно
![$f = softmax(XW + b)$ $f = softmax(XW + b)$](https://dxdy-02.korotkov.co.uk/f/5/9/e/59e856da0be77d0c485598de9205c55a82.png)
. В шапке я изначально не указывал softmax просто для облегчения задачи
По чему идет оптимизация?
Оптимизация идет по
![$W, b$ $W, b$](https://dxdy-04.korotkov.co.uk/f/3/1/f/31f6878552665bef8f350a71216cd5c282.png)
- это параметры, которые мы можем настраивать
Кто от чего зависит?
![$y$ $y$](https://dxdy-02.korotkov.co.uk/f/d/e/c/deceeaf6940a8c7a5a02373728002b0f82.png)
не зависит ни от чего, это матрица правильных ответов.
![$f$ $f$](https://dxdy-02.korotkov.co.uk/f/1/9/0/190083ef7a1625fbc75f243cffb9c96d82.png)
зависит от
![$X, W, b$ $X, W, b$](https://dxdy-02.korotkov.co.uk/f/d/f/9/df9938ed2dae356a7721770bd4c082d482.png)
.
![$X$ $X$](https://dxdy-01.korotkov.co.uk/f/c/b/f/cbfb1b2a33b28eab8a3e59464768e81082.png)
не зависит ни от кого - это входные данные,
![$W, b$ $W, b$](https://dxdy-04.korotkov.co.uk/f/3/1/f/31f6878552665bef8f350a71216cd5c282.png)
- настраиваемые параметры
-- 14.01.2019, 02:43 --Ну и да, я изначально всё упростил до задачи оптимизации линейной функции лишь для того, чтобы показать, что у меня не сходятся размерности матриц