2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Линейный дискриминант Фишера
Сообщение03.06.2015, 18:32 
В книге раздел 4.1.4 -- Линейный дискриминант Фишера.
Для модели $y(\mathbf x) = \mathbf w^\top \mathbf x + w_0$ с двумя классами $\mathcal C_1$ и $\mathcal C_2$ получаем, что $\mathbf x'$ принадлежит $\mathcal C_1$, если $y(\mathbf x') \geq -w_0$ и классу $\mathcal C_2$ -- иначе. Далее выводим формулу для $\mathbf w$:
$$
\mathbf w \propto \mathbf S_W^{-1}(\mathbf m_2 - \mathbf m_1),
$$
где $\mathbf m_k$ -- средние значения внутри классов, а $\mathbf S_W^{-1}$ -- внутриклассовая ковариационная матрица.
Далее нужно найти порог $y_0$ для классификации нового вектора $\mathbf x'$. Для этого автор предлагает смоделировать условно-классовые плотности $p(y\mid \mathcal C_k)$ нормальным распределением, оценить его параметры, а затем использовать результат раздела 1.5.1 (который я не совсем понял).
Пусть $p(y\mid \mathcal C_k) = \mathcal N(y\mid \hat\mu _k, \hat\sigma ^2_k)$, где "крышки" -- оценки МП по каждому классу. Полагая $p(\mathcal C_k) = N_k/N$ и $y=\mathbf w^\top _F\mathbf x'$ я буду относить вектор $\mathbf x'$ к классу, для которого величина $p(\mathcal C_k\mid y)\propto p(y\mid \mathcal C_k)p(\mathcal C_k)$ будет наибольшей, где $\mathbf w _F = \mathbf S_W^{-1}(\mathbf m_2 - \mathbf m_1)$.
Я правильно делаю?

(Оффтоп)

В след. разделе автор выводит, что $w_0 = - \mathbf w^\top \mathbf m$, где $\mathbf m$ -- среднее по всем наблюдениям.

 
 
 [ 1 сообщение ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group