Доказать хи-квадратность

[StaticZero]

Задача про метод наименьших квадратов:

$$ y_i = a + b x_i + \varepsilon_i, \quad \varepsilon_i \sim \mathcal N(0, \sigma^2), \quad i = 1, \ldots, n. $$

Оценки коэффициентов $\hat b = \dfrac{\langle x y \rangle - \langle x \rangle \langle y \rangle}{S^2_x}$, $\hat a = \langle y \rangle - \hat b \langle x \rangle$, $S^2_x = \langle x^2 \rangle - \langle x \rangle^2$, $\langle \cdot \rangle$ --- среднее по выборке.

Проблема: доказать, что $(n - 2) S^2/\sigma^2 \sim \chi^2_{n - 2}$, $S^2 = \frac{1}{n - 2} \sum_n (y_i - \hat a - \hat b x_i)^2$.

Пока удалось лишь привести к виду $(n - 2) S^2 = \langle y^2 \rangle - \langle y \rangle^2 - \hat b^2 n S^2_x$. В случае просто нормальной выборки доказательство опирается на лемму Фишера: если компоненты вектора $\mathbf x \in \mathbb R^n$ независимы и распределены стандартно и $C$ --- ортогональная матрица, то компоненты вектора $\mathbf y = C \mathbf x$ распределены стандартно и независимы. В этих условиях величина $||\mathbf x||^2 - y^2_1 - \ldots - y^2_k \sim \chi^2_{n - k}$.

Напрямую это сюда не применить, так как мешает слагаемое

$$ \hat b^2 n S^2_x = \frac{n^2}{nS^2_x} \left( \sum \limits_{i, j} y_i y_j (x_i x_j + \langle x \rangle^2 - 2 \langle x \rangle x_j )\right), $$

это некоторая квадратичная форма, и в какое место в теореме её засунуть не очень понятно. Подскажите, пожалуйста, что всё-таки нужно делать?

[Евгений Машеров]

Я бы пошёл от геометрии. Полагал бы, что эпсилоны - в n-мерном пространстве. В котором регрессоры задают к-мерное подпространство. И наблюдаемые части эпсилонов лежат в ортогональном к нему подпространстве размерности (n-k). Поворот, после которого две координаты совпадают с регрессорами, а остальные к ним ортогональны, задаётся ортогональной матрицей, так что после поворота у нас k преобразованных эпсилонов коллинеарны регрессорам и мы их не видим, а (n-k) видны. Ну, а распределение суммы квадратов (n-k) нормальных величин известно...

[--mS--]

(Оффтоп)

А ещё можно взять готовое доказательство для общего случая, и переписать для $k=2$. Типа этого.

[StaticZero]

Евгений Машеров в сообщении #1295301 писал(а):

Я бы пошёл от геометрии. Полагал бы, что эпсилоны - в n-мерном пространстве. В котором регрессоры задают к-мерное подпространство. И наблюдаемые части эпсилонов лежат в ортогональном к нему подпространстве размерности (n-k). Поворот, после которого две координаты совпадают с регрессорами, а остальные к ним ортогональны, задаётся ортогональной матрицей, так что после поворота у нас k преобразованных эпсилонов коллинеарны регрессорам и мы их не видим, а (n-k) видны. Ну, а распределение суммы квадратов (n-k) нормальных величин известно...

Да, такое доказательство я разобрал. Тем не менее, всё же интересует вопрос, можно ли в лоб получить то, что нужно. Я напишу здесь дальше то, что я смог пока выяснить.

Итак, можно без потери общности (что легко показать) исследовать выражение $E^2 = \sum_i (y_i - \hat a - \hat b x_i)^2$ при том условии, что $\langle x \rangle = 0$. После преобразований найдём

$$ E^2 = \sum_i y^2_i - \frac{1}{n} \left( \sum_i y_i \right)^2 - n \hat b^2 S^2_x. $$

Подставляем сюда

$$ \hat b = \frac{\langle xy \rangle}{ S^2_x} =\frac{\sum_i {x_i y_i}}{ n S^2_x}, \qquad \hat b^2 = \frac{1}{n^2 S^4_x} \sum_{i, j} x_i x_j y_i y_j $$

и приводим $\sum_i y^2_i = \frac{1}{n} \sum_{i, j} y_i y_j n \delta_{ij}$ получаем в итоге квадратичную форму

$$ E^2 = \frac{1}{n} \sum_{i, j} y_i y_j \left(n \delta_{ij} - 1 - \frac{x_i x_j}{S^2_x} \right) = \frac{1}{n} \sum_{i, j} c_{ij} y_i y_j. $$

Отбросим пока множитель $1/n$ и будем исследовать матрицу формы $c_{ij}$. Заметим, что можно представить $c_{ij} = a_{ij} + b_{ij}$, где $a_{ij} = n \delta_{ij} - 1$, $b_{ij} = - x_i x_j/S^2_x$. Матрица $B$ характерна тем, что сумма всех элементов в строках или в столбцах равна нулю; она допускает следующее разложение:

$$ B = - \frac{1}{S^2_x} \begin{pmatrix} x_1 & x_1 & \ldots & x_1 \\ x_2 & x_2 & \ldots & x_2\\ \vdots & \vdots & \ddots & \vdots \\ x_n & x_n & \ldots & x_n \end{pmatrix} \operatorname{diag}(x_1, \ldots, x_n) = X \operatorname{diag}(x_1, \ldots, x_n). $$

Легко понять, что $\operatorname{rang} X = 1$, а по теореме

$$\operatorname{\rang} B \leqslant \min(\operatorname{rang} X, \operatorname{rang} \operatorname{diag}(x_1, \ldots, x_n)) = 1$$

(мы имеем ввиду, что хотя бы одно $x_i$ отлично от нуля, в силу чего $\operatorname{rang} B > 0$, стало быть, $\operatorname{rang} B = 1$).

Мы знаем, что $\operatorname{rang} A = n - 1$. Нам хочется, чтобы два собственных числа матрицы $C$ формы были нули (а остальные - не нули) и матрица $C$ была диагонализуема. Я не могу пока сообразить, будет ли это тогда и только тогда, когда $\operatorname{rang} C = n - 2$. Пока даже не получается доказать, что ранг $C$ ровно $n - 2$; удаётся лишь сказать, что он не больше $n - 1$. Явно вычислить собственные значения, как для матрицы $A$, очевидно, нельзя, так как $C$ общего вида.

После безуспешных попыток найти доказательство из общих соображений, закрались подозрения: а не сведётся ли весь вопрос в конечном счёте опять к геометрическому методу, упомянутому выше...

[StaticZero]

Я нашёл всё же прямое доказательство через квадратичные формы. В некотором смысле оно использует свойства ортогональных проекторов. По всей видимости, оно неплохо обобщается на большее количество регрессоров, но я ещё не пробовал.

Спасибо за внимание.