2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 LASSO
Сообщение06.05.2015, 01:28 


21/04/13
19
Рассматриваю оценку LASSO для линейной регрессии:
$\hat{\beta} = \underset{\beta \in \mathbb{R}^{p}}{argmin}\|Y-X\beta\| + \lambda \|\beta\|_1$, где $X$ - матрица $n\times p$, $Y$ - вектор длины $n$, $\beta$ - вектор длины $p$. Как известно, эта задача эквивалентна задаче нахождения минимума $ \|Y-X\beta\|$ при условии $\|\beta\|_1 \leqslant t$. Между $t$ и $\lambda$ есть соответствие, которое я никак не могу получить. Я понимаю, что здесь нужно воспользоваться условиями Каруша-Куна-Таккера, но не получается. Прошу помощи и совета.

 Профиль  
                  
 
 Re: LASSO
Сообщение06.05.2015, 09:27 
Заслуженный участник
Аватара пользователя


11/03/08
6783
Москва

(Оффтоп)

(Поправляя фуражку прапорщика Ясненько, старшины роты капитана Очевидность):

Множитель Лагранжа?

 Профиль  
                  
 
 Re: LASSO
Сообщение06.05.2015, 13:25 


21/04/13
19
А что делать с недифференцируемостью в нуле?

 Профиль  
                  
 
 Re: LASSO
Сообщение06.05.2015, 21:09 
Заслуженный участник


30/01/09
4694
Vandaler в сообщении #1011673 писал(а):
задаче нахождения минимума $ \|Y-X\beta\|$ при условии $\|\beta\|_1 \leqslant t$.

Или минимума $ \|Y-X\beta\|^2$ при условии $\|\beta\|_1 -t\leqslant 0$ . Запишем для этой задачи функцию Лагранжа $L(\beta,\alpha)=\|Y-X\beta\|^2+\alpha*(\|\beta\|_1 -t)$ , где $\alpha$ - двойственная переменная (скаляр). Условие оптимальности - у этой функции существует седловая точка. Допусти нашли оптимальное $\alpha'$. Тогда седловая точка - это точка минимума по $\beta$ этой функции Лагранжа для нашего $\alpha'$. И эта задача минимизации эквивалента первой задаче, поскольку последний множитель с $t$ можно отбросить. Таким образом понят смысл $\lambda$ , как оптимальной двойственной переменной. И понята равносильность двух задач. Однако у нас пропало $t$ , и получается, что от него ничего не зависит, что странно. Чтобы найти оптимальные $\beta$ и $\gamma=\alpha$ , надо записать условие минимума для первой задачи, например. Которое можно записать через субградиенты, например. Ну, или выписывая частные производные и учитывая негладкость.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group