2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.



Начать новую тему Ответить на тему
 
 Линейный дискриминант Фишера
Сообщение03.06.2015, 18:32 


07/03/11
690
В книге раздел 4.1.4 -- Линейный дискриминант Фишера.
Для модели $y(\mathbf x) = \mathbf w^\top \mathbf x + w_0$ с двумя классами $\mathcal C_1$ и $\mathcal C_2$ получаем, что $\mathbf x'$ принадлежит $\mathcal C_1$, если $y(\mathbf x') \geq -w_0$ и классу $\mathcal C_2$ -- иначе. Далее выводим формулу для $\mathbf w$:
$$
\mathbf w \propto \mathbf S_W^{-1}(\mathbf m_2 - \mathbf m_1),
$$
где $\mathbf m_k$ -- средние значения внутри классов, а $\mathbf S_W^{-1}$ -- внутриклассовая ковариационная матрица.
Далее нужно найти порог $y_0$ для классификации нового вектора $\mathbf x'$. Для этого автор предлагает смоделировать условно-классовые плотности $p(y\mid \mathcal C_k)$ нормальным распределением, оценить его параметры, а затем использовать результат раздела 1.5.1 (который я не совсем понял).
Пусть $p(y\mid \mathcal C_k) = \mathcal N(y\mid \hat\mu _k, \hat\sigma ^2_k)$, где "крышки" -- оценки МП по каждому классу. Полагая $p(\mathcal C_k) = N_k/N$ и $y=\mathbf w^\top _F\mathbf x'$ я буду относить вектор $\mathbf x'$ к классу, для которого величина $p(\mathcal C_k\mid y)\propto p(y\mid \mathcal C_k)p(\mathcal C_k)$ будет наибольшей, где $\mathbf w _F = \mathbf S_W^{-1}(\mathbf m_2 - \mathbf m_1)$.
Я правильно делаю?

(Оффтоп)

В след. разделе автор выводит, что $w_0 = - \mathbf w^\top \mathbf m$, где $\mathbf m$ -- среднее по всем наблюдениям.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ 1 сообщение ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group