Взвешенный МНК

[StaticZero]

Добрался до процедуры взвешенного оценивания. Привожу то построение, по которому есть вопросы.

Итак, $\varepsilon_i \sim \mathcal N(0, \sigma^2_i)$. Регрессионное уравнение $y = a + bx$, $y_i = a + b x_i + \varepsilon_i$. Делим всё на $\sigma_i$. Обозначим $w_i = 1/\sigma_i$. Получаем

$$ y_i w_i = a w_i + b x_i w_i + f_i, \quad f_i \sim \mathcal N(0, 1). $$

Минимизируем

$$ S = \sum_i (y_i w_i - \hat b x_i w_i - \hat a w_i)^2 \to \min. $$

Получаем систему уравнений

$$ \begin{cases} 0 = \frac{\partial S}{\partial \hat a} = - 2 \sum_i (y_i w_i - \hat b x_i w_i - \hat a w_i) w_i, \\ 0 = \frac{\partial S}{\partial \hat b} = - 2 \sum_i (y_i w_i - \hat b x_i w_i - \hat a w_i) x_i w_i, \\ \end{cases} $$

и условие на минимум функции двух переменных: положительная определённость матрицы Гессе $H$

$$ H = 2\begin{pmatrix} \sum_i w^2_i & \sum_i x_i w^2_i \\ \sum_i x_i w^2_i & \sum_i x^2_i w^2_i \end{pmatrix}. $$

Суть вопроса в том, что положительную определённость установить не удаётся: левый верхний элемент $> 0$, а второй минор есть

$$ \det H = \left(\sum_i w^2_i \right)\left(\sum_i x^2_i w^2_i \right) - \left(\sum_i x_i w^2_i \right)^2 = \sum_{i, j} w^2_i w^2_j (x^2_j - x_i x_j) = \sum_{i, j} w^2_i w^2_j x_i x_j (\delta_{ij} - 1)$$

и не очень понятно, на основании чего можно заключить, что $\det H > 0$.

Я со своей колокольни предполагаю, что это вообще неверно, и возможно, что на некоторых наборах данных может быть и $\det H < 0$ (при этом из-за левого верхнего элемента даже отрицательной определённости не будет), и что, тогда у $S$ может вообще не быть минимума. Для взвешенного МНК это типично, или всё можно увидеть, что $\det H > 0$?

-- 19.03.2018, 04:02 --

StaticZero в сообщении #1298248 писал(а):

Я со своей колокольни предполагаю, что это вообще неверно, и возможно, что на некоторых наборах данных может быть и $\det H < 0$ (при этом из-за левого верхнего элемента даже отрицательной определённости не будет)

Более содержательно будет сказать так: положим $z_i = x_i w^2_i$, тогда форма $\det H = \sum_{i, j} z_i z_j (\delta_{ij} - 1)$ имеет матрицу

$$ D = \begin{pmatrix} 0 & -1 & \ldots & -1 \\ -1 & 0 & \ldots & -1 \\ \vdots & \vdots & \ddots & \vdots \\ -1 & -1 & \ldots & 0 \end{pmatrix} $$

и у этой матрицы бывают отрицательные с. з., то есть она неопределённая получается, соответственно и форма относительно $z_i z_j$ тоже неопределённая. Тогда и $\det H$ имеет любые знаки. Тогда остаётся вопрос: а это нормально?

[Евгений Машеров]

Это матрица Грама. Она неотрицательно определённая. По построению.

[StaticZero]

Про грамиан я понял: здесь векторы, очевидно, $\mathbf v_1 = (w_1, \ldots, w_n)^\mathrm T$ и $\mathbf v_2 = (x_1 w_1, \ldots, x_n w_n)^\mathrm T$. Значит, я что-то делаю не так, ведь лобовой способ должен дать тот же результат в конце концов.

-- 19.03.2018, 10:28 --

Хотя я даже понимаю, что. Последний переход здесь

StaticZero в сообщении #1298248 писал(а):

$$ \det H = \left(\sum_i w^2_i \right)\left(\sum_i x^2_i w^2_i \right) - \left(\sum_i x_i w^2_i \right)^2 = \sum_{i, j} w^2_i w^2_j (x^2_j - x_i x_j) = \sum_{i, j} w^2_i w^2_j x_i x_j (\delta_{ij} - 1)$$

некорректен.

[ewert]

StaticZero в сообщении #1298268 писал(а):

ведь лобовой способ должен дать тот же результат в конце концов.

Он конце концов и даёт: конкретно здесь (для линейной модели) положительность определителя -- это просто неравенство Коши-Буняковского. В точности оно, не более и не менее.

Которое, впрочем, само по себе отнюдь не просто. Т.е. доказывается-то просто, но отнюдь не очевидным образом.

Что касается матрицы Грама: неотрицательна она не по построению, а по теореме ( хотя и несложной). А её строгая положительность -- уже дополнительный вопрос. Конкретно для МНК (неважно, весового или нет): для положительности необходимо и достаточно, чтобы количество различных узлов было не меньше, чем количество параметров (в данном случае -- не меньше двух).

[Евгений Машеров]

Нет, я про то, что матрица в модели есть матрица Грама по построению. Что матрица Грама неотрицательно определена - доказывается, разумеется, хоть и несложно.

[StaticZero]

Спасибо, вкурил.