2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.



Начать новую тему Ответить на тему
 
 Записать двойственную задачу (найти ошибку в решении)
Сообщение11.12.2013, 11:36 


12/10/12
134
Есть два класса 0 и 1. В первом один опорный вектор: $ x_1=(4.9, 3.3)$, во втором два: $ x_2=(4.9, 2.4)$ и $ x_3=(6.3, 3.3)$. Требуется решить двойственную задачу построения оптимальной гиперплоскости $(\varphi,x)+b=0$.

Решал я по книге Вьюгина Элементы матем теории машинного обучения (стр 82) http://www.iitp.ru/upload/publications/5989/vyugin1.pdf

Пусть если опорный вектор $x$ из класса 0, тогда $(\varphi,x)+b=-1$
если опорный вектор $x$ из класса 1, тогда $(\varphi,x)+b=1$
Условия можно переписать совместно: $y_i((\varphi,x)+b)-1 \geqslant $, где $y_i=\pm 1$

Составим Лагранжиан:
$L(w, b, \alpha)=\frac 1 2 \cdot (w,w) - \sum_{i=1}^3{\alpha_i(y_i((w \cdot x_i)+b)-1)}$
где $\alpha_i \geqslant 0$ - коэффициенты Лагранжа (*)

Нужно его минимизировать, находим частные производные по $w$ и по $b$ приравниваем их к нулю, получаем:
$w=\sum_{i=1}^3{\alpha_i \cdot y_i \cdot x_i} $
$\sum_{i=1}^3{\alpha_i \cdot y_i}=0$ (**)

Подставляем в $L$, получаем, что нужно максимизировать функцию
$W=\sum_{i=1}^3{\alpha_i}-\sum_{i=1,j=1}^3{\alpha_i \alpha_j y_i y_j (x_i,x_j)}$
при условиях (*) и (**)

Оптимальным решением будет:
$w_0=\sum_{i=1}^3{\alpha_i^0 \cdot y_i \cdot x_i}$
$b_0=\frac 1 2 \min((w_0,x_2),(w_0,x_3))+(w_0,x_1)$
где $\alpha_i^0$ оптимальные параметры найденные из максимизации

Я подставил и у меня получилось:
$W = \alpha_1+ \alpha_2 + \alpha_3 + 40.77 \alpha_1 \alpha_2+31.21 \alpha_1 \alpha_3 - 38.79 \alpha_2 \alpha_3 -16.505 \alpha_1^2-25.29 \alpha_2^2-14.885 \alpha_3^2$
$-\alpha_1+\alpha_2+\alpha_3=0$
$\alpha_1=5.56, \alpha_2=0, \alpha_3=5.56$
И разделяющую гиперплоскость:
$10.5+3.3 y = 0$

Видно, что это не верно. Помогите найти ошибку.

 Профиль  
                  
 
 Re: Записать двойственную задачу (найти ошибку в решении)
Сообщение11.12.2013, 13:54 


12/10/12
134
Добавлю еще что из геометрических соображений разделяющая гиперплоскость должна быть
$-0.9 x+1.4 y+0.63 = 0$

Изображение

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group