LASSO

[Vandaler]

Рассматриваю оценку LASSO для линейной регрессии:
$\hat{\beta} = \underset{\beta \in \mathbb{R}^{p}}{argmin}\|Y-X\beta\| + \lambda \|\beta\|_1$, где $X$ - матрица $n\times p$, $Y$ - вектор длины $n$, $\beta$ - вектор длины $p$. Как известно, эта задача эквивалентна задаче нахождения минимума $ \|Y-X\beta\|$ при условии $\|\beta\|_1 \leqslant t$. Между $t$ и $\lambda$ есть соответствие, которое я никак не могу получить. Я понимаю, что здесь нужно воспользоваться условиями Каруша-Куна-Таккера, но не получается. Прошу помощи и совета.

[Евгений Машеров]

(Оффтоп)

(Поправляя фуражку прапорщика Ясненько, старшины роты капитана Очевидность):

Множитель Лагранжа?

[Vandaler]

А что делать с недифференцируемостью в нуле?

[мат-ламер]

Vandaler в сообщении #1011673 писал(а):

задаче нахождения минимума $ \|Y-X\beta\|$ при условии $\|\beta\|_1 \leqslant t$.

Или минимума $ \|Y-X\beta\|^2$ при условии $\|\beta\|_1 -t\leqslant 0$ . Запишем для этой задачи функцию Лагранжа $L(\beta,\alpha)=\|Y-X\beta\|^2+\alpha*(\|\beta\|_1 -t)$ , где $\alpha$ - двойственная переменная (скаляр). Условие оптимальности - у этой функции существует седловая точка. Допусти нашли оптимальное $\alpha'$. Тогда седловая точка - это точка минимума по $\beta$ этой функции Лагранжа для нашего $\alpha'$. И эта задача минимизации эквивалента первой задаче, поскольку последний множитель с $t$ можно отбросить. Таким образом понят смысл $\lambda$ , как оптимальной двойственной переменной. И понята равносильность двух задач. Однако у нас пропало $t$ , и получается, что от него ничего не зависит, что странно. Чтобы найти оптимальные $\beta$ и $\gamma=\alpha$ , надо записать условие минимума для первой задачи, например. Которое можно записать через субградиенты, например. Ну, или выписывая частные производные и учитывая негладкость.