2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Записать двойственную задачу (найти ошибку в решении)
Сообщение11.12.2013, 11:36 
Есть два класса 0 и 1. В первом один опорный вектор: $ x_1=(4.9, 3.3)$, во втором два: $ x_2=(4.9, 2.4)$ и $ x_3=(6.3, 3.3)$. Требуется решить двойственную задачу построения оптимальной гиперплоскости $(\varphi,x)+b=0$.

Решал я по книге Вьюгина Элементы матем теории машинного обучения (стр 82) http://www.iitp.ru/upload/publications/5989/vyugin1.pdf

Пусть если опорный вектор $x$ из класса 0, тогда $(\varphi,x)+b=-1$
если опорный вектор $x$ из класса 1, тогда $(\varphi,x)+b=1$
Условия можно переписать совместно: $y_i((\varphi,x)+b)-1 \geqslant $, где $y_i=\pm 1$

Составим Лагранжиан:
$L(w, b, \alpha)=\frac 1 2 \cdot (w,w) - \sum_{i=1}^3{\alpha_i(y_i((w \cdot x_i)+b)-1)}$
где $\alpha_i \geqslant 0$ - коэффициенты Лагранжа (*)

Нужно его минимизировать, находим частные производные по $w$ и по $b$ приравниваем их к нулю, получаем:
$w=\sum_{i=1}^3{\alpha_i \cdot y_i \cdot x_i} $
$\sum_{i=1}^3{\alpha_i \cdot y_i}=0$ (**)

Подставляем в $L$, получаем, что нужно максимизировать функцию
$W=\sum_{i=1}^3{\alpha_i}-\sum_{i=1,j=1}^3{\alpha_i \alpha_j y_i y_j (x_i,x_j)}$
при условиях (*) и (**)

Оптимальным решением будет:
$w_0=\sum_{i=1}^3{\alpha_i^0 \cdot y_i \cdot x_i}$
$b_0=\frac 1 2 \min((w_0,x_2),(w_0,x_3))+(w_0,x_1)$
где $\alpha_i^0$ оптимальные параметры найденные из максимизации

Я подставил и у меня получилось:
$W = \alpha_1+ \alpha_2 + \alpha_3 + 40.77 \alpha_1 \alpha_2+31.21 \alpha_1 \alpha_3 - 38.79 \alpha_2 \alpha_3 -16.505 \alpha_1^2-25.29 \alpha_2^2-14.885 \alpha_3^2$
$-\alpha_1+\alpha_2+\alpha_3=0$
$\alpha_1=5.56, \alpha_2=0, \alpha_3=5.56$
И разделяющую гиперплоскость:
$10.5+3.3 y = 0$

Видно, что это не верно. Помогите найти ошибку.

 
 
 
 Re: Записать двойственную задачу (найти ошибку в решении)
Сообщение11.12.2013, 13:54 
Добавлю еще что из геометрических соображений разделяющая гиперплоскость должна быть
$-0.9 x+1.4 y+0.63 = 0$

Изображение

 
 
 [ Сообщений: 2 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group