Регрессия с не нормальными ошибками

[vlad_light]

Рассмотрим задачу регрессии:

$$y = f(\mathbf x | \mathbf w) + \varepsilon ,$$

где $\varepsilon \sim \mathcal N (0, \sigma ^2)$. Тогда имея выборку $(\mathbf X, \mathbf y)$ мы можем оценить $\mathbf w$ при помощи ММП:

$$y \sim \mathcal N (f(\mathbf x | \mathbf w), \sigma ^2)$$

$$-\ln p(\mathbf y | \mathbf X, \mathbf w, \sigma ^2) = -\sum _i \n p(y_i | \mathbf x _i , \mathbf w, \sigma ^ 2)$$

Если подставить нормальное распределение, то нам повезет и мы сможем оценить $\mathbf w$ не вычисляя $\sigma ^2$:

$$\hat {\mathbf w}(\mathbf y, \mathbf X, \sigma ^2) = \hat {\mathbf w}(\mathbf y, \mathbf X) = {\arg \min} _{\mathbf w} \sum _i (y_i - f(\mathbf x_i | \mathbf w))^2$$

Пусть теперь $\varepsilon \sim \mathcal D(\theta)$ и $\mathbb E \varepsilon = 0$.

Вопрос1: можно ли что-то оценивать, если $\mathbb V \varepsilon = \inf$?
Вопрос2: если нам не повезло, то единственный способ -- решать систему уравнений? Если да, есть какие-то итеративные схемы решения?
Вопрос3: если $\varepsilon \sim \mathcal S (\alpha , \beta , c, 0)$ -- устойчивое распределение с известными $\alpha, \beta, c$, мы можем так же применять ММП для оценки $\mathbf w$? Можно ли получить какую-то простую формулу для $\beta = 0$ и $1 < \alpha < 2$?

[Евгений Машеров]

Можно. Называется робастное оценивание. Хотя обычно рассматривают не такой крутой случай, с бесконечной дисперсией, а просто более тяжёлые хвосты.

[vlad_light]

Спасибо! Вот я еще рассмотрел t-распределение:

$$p(x | \nu , \mu , \sigma) = \frac{\Gamma (\frac {\nu + 1}{2})}{\Gamma (\frac {\nu}{2})\sqrt {\pi \nu} \sigma}\left(1 + \frac {1}{\nu}\left(\frac {x - \mu}{\sigma}\right)^2\right)^{-\frac{\nu + 1}{2}}$$

Тогда, чтоб оптимизировать параметры модели, нужно минимизировать функцию потерь:

$$L(\mathbf w | \mathbf y, \mathbf X, \nu, \sigma) = \sum _i\ln\left( 1 + C (y_i - f(\mathbf x_i | \mathbf w))^2\right)\to \min,$$

где $C = \frac {1}{\nu \sigma ^ 2}$. Это я правильно написал?

[Евгений Машеров]

Что-то не то...

[Евгений Машеров]

Если у нас задано $\nu$, то множитель $\frac {\Gamma(\frac{\nu+1}2)}{\Gamma(\frac \nu 2)\sqrt{\pi\nu}}$ можно вынести за скобки, и оценивать по ММП только среднее и дисперсию. Но выражение немного не такое. Оценивание ещё и числа степеней свободы тоже возможно, но вычислительная процедура сложнее.
Есть описание в https://web.itu.edu.tr/~etaner/wseasJ05.pdf
Но я его не проверял.

[vlad_light]

Глянул статью, вроде бы все правильно написал. Отдельно оценивать среднее/дисперсию не получится из-за множителя $\frac 1\nu$ в скобках.