2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Линейная классификация - функционал ошибки.
Сообщение27.08.2017, 20:53 
Вопрос следующий - можно ли при обучении линейного классификатора в качестве функционала ошибки использовать сумму отступов со знаком минус:?
$$Q(w)=-\sum\limits_{i=1}^{m}M(x_i)$$
В оригинале идея состоит в том, что функционал ошибки это негладкая функция, которую сложно опитимизировать:
$$Q(a,x)=\sum\limits_{i=1}^{l}[y_i \left\langle w_i,x_i\right\rangle<0] = \sum\limits_{i=1}^{l}[M_i<0]$$
Поэтому мы заменяем функционал ошибки на его оценку:
$$Q(a,x) \leqslant \tilde{Q}(a,x)=\sum\limits_{i=1}^{l}\tilde{L}(M_i)$$
Который, в свою очередь, представляет из себя гладкую, как привило неубывающую функцию:
Изображение
На графике видно, что функции оценок пороговой функции ($[M_i < 0]$) убывают с ростом значения $M_i$. Так почему бы просто при обучении не искать минимум разностей (или минус сумму) отступов $M_i$?

Дополнительно - http://www.machinelearning.ru/wiki/inde ... 0%BE%D1%80

 
 
 [ 1 сообщение ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group