Ещё раз про хи-квадрат

[FFFF]

Пусть есть выборка $(X_1,...,X_n)$ все случайные величины независимы, гауссовы. Хочу доказать, что выборочная дисперсия $S^2=\frac{1}{n}\sum_{i=1}^n (X_i-\bar X)^2$ имеет $\chi^2$-распределение. Для этого надо доказать, что случайные величины $(X_i-\bar X), \ (X_j-\bar X)$ независимы $\forall i,j \in[1..n]$. Я нашёл их распределения (гауссовы с нулевым мат ожиданием), выразил плотности через плотности исходных случайных величин: $p_{X_i-\bar X}(x)=\sqrt{\frac{n}{n-1}}p_{X_i}(\sqrt{\frac{n-1}{n}}x-\mu)$. А вот что делать дальше? Насколько я понимаю, доказывать независимость нужно по определению: $p_{(X_i-\bar X),(X_j-\bar X)}(x_1,x_2)=p_{(X_i-\bar X)}(x_1)p_{(X_j-\bar X)}(x_2)$, но с плотностью совместного распределения возникли проблемы - не понимаю, как её выразить.

[ewert]

FFFF в сообщении #669621 писал(а):

Для этого надо доказать, что случайные величины $(X_i-\bar X), \ (X_j-\bar X)$ независимы $\forall i,j \in[1..n]$.

Они, разумеется, зависимы. По тривиальной причине -- их сумма тождественно равна нулю. Т.е. совокупность этих величин лежит в подпространстве, ортогональном вектору $(1,1,1,\ldots,1)$. И вот если в этом подпространстве выбрать какой-либо ортонормированный базис (не имеет значения, какой конкретно), то координаты в этом базисе будут уже действительно независимыми и нормально распределёнными случайными величинами. Отсюда и хи-квадрат, отсюда и количество степеней свободы на единицу меньше, чем исходная размерность; отсюда же, между прочим, и независимость выборочных среднего и дисперсии.

[FFFF]

ewert в сообщении #669624 писал(а):

Они, разумеется, зависимы. По тривиальной причине -- их сумма тождественно равна нулю. Т.е. совокупность этих величин лежит в подпространстве, ортогональном вектору .

Это осознал.

ewert в сообщении #669624 писал(а):

И вот если в этом подпространстве выбрать какой-либо ортонормированный базис (не имеет значения, какой конкретно), то координаты в этом базисе будут уже действительно независимыми и нормально распределёнными случайными величинами.

Но какой-то мне базис ведь нужно выбрать? Подойдёт, например, ортогонализация такого $\{X_i-\bar X\}_{i=1}^{n-1}$? Если да, то что дальше? Мне нужно выражать каждое слагаемое в выборочной дисперсии через этот базис? Как-то очень мудрёно получается.

ewert в сообщении #669624 писал(а):

отсюда же, между прочим, и независимость выборочных среднего и дисперсии

У Уилкса независимость выборочного среднего и дисперсии доказывается с помощью характеристических функций на протяжении двух страниц выкладок. Вы сулите какой-то более простой способ.

[ewert]

Собственно, нас интересует распределение случайной величины $H=\sum\limits_{k=1}^n(X_k-X_{av})^2$, где $X_{av}=\frac1n\sum\limits_{k=1}^nX_k$ (ибо чёрточка в качестве обозначения крайне неудобна). Формально эта величина есть квадрат нормы случайного вектора $\overrightarrow H=\overrightarrow X-X_{av}\vec b$, где $\vec b=(1,1,\ldots,1)$. Слагаемые в этой разности ортогональны друг другу. Ну так и сделаем поворот координатных осей $\vec x=\sum\limits_{k=1}^ny_k\vec e_k$, в котором орт $\vec e_n$ параллелен вектору $\vec b$, т.е. $\vec e_n=\frac1{\sqrt n}\vec b$, все же остальные орты -- какие угодно, лишь бы были ортонормированы между собой и ортогональны $\vec e_n$. Если теперь $\overrightarrow Y\equiv\sum\limits_{k=1}^{n-1}y_k\vec e_k$, то $\|\overrightarrow Y\|=\|\overrightarrow H\|$ (поскольку оба вектора суть ортогональные дополнения до $\vec b$). И при этом вектор $\overrightarrow Y$ центрирован по всем своим компонентам и имеет по ним те же дисперсии, что и исходные иксы (это легко проверяется по плотностям распределения). Отсюда $\chi^2$. И при этом $Y_n$ независима с остальными $Y_k$; а поскольку $Y_n$, будучи проекцией вектора $\overrightarrow X$ на $\vec b$, пропорциональна тем самым $X_{av}$ -- выборочное среднее тем самым не зависит от $\overrightarrow Y$ и тем более от $\|\overrightarrow H\|$, т.е. от выборочной дисперсии.

[Henrylee]

Лемма Фишера. А.А. Боровков. Математическая статистика, М.Наука, 1984, с. 266.
+ Теорема 1, стр. 267.

[ewert]

А зачем Боровков так долго доказывает там лемму 1? Нормальное доказательство выглядело бы примерно так:

"Это очевидно: ортогональность матрицы $C$ означает, что $\|C^{-1}\vec y\|\equiv\|\vec y\|$ и, следовательно, $f_{\vec Y}(\vec y)=|\det C^{-1}|\cdot f_{\vec X}\big(\vec x(\vec y)\big)=1\cdot N\,e^{-\frac1{2\sigma^2}\|C^{-1}\vec y\|^2}=N\,e^{-\frac1{2\sigma^2}\|\vec y\|^2}$ ".

[--mS--]

Затем, что первое равенство в Вашей строчке тоже требуется доказывать. А через х.ф. ничего этого не нужно.

[ewert]

--mS-- в сообщении #670227 писал(а):

первое равенство в Вашей строчке тоже требуется доказывать.

Зачем доказывать определение?...

[Henrylee]

На самом деле, что у Боровкова в Лемме1 замечание о $CC^T=E$, что у ewert $\|C^{-1}\vec y\|=\|\vec y\|$ разницы никакой, а расписано длинно.

[ewert]

Я уточню. На самом деле --mS--, скорее всего, имела в виду не это первое равенство, а то, что в цепочке для плотностей. Но я намеренно не стал этого понимать, поскольку ситуации полностью аналогичны.

Ортогональная матрица может определяться как:

$$\text{столбцы ортонормированы}\ \Leftrightarrow\ C^TC=E\ \Leftrightarrow\ C\,C^T=E\ \Leftrightarrow\ (C\vec x,C\vec x)\equiv(\vec x,\vec x)\ \Leftrightarrow\ \|C\vec x\|\equiv\|\vec x\|.$$

Наиболее распространён в качестве определения первый вариант, наиболее идеен -- четвёртый. Однако что здесь считать курицей, а что яйцом -- не имеет значения: в любом случае все пять утверждений должны быть обиходными. В случае с плотностями первое равенство, конечно, не есть определение; но оно настолько принципиально, что не знать его и уж тем более доказывать потом заново на каждой следующей странице учебника нелепо.

[--mS--]

Спор бессмысленный. Вы легко можете убедиться, что Боровкову нет нужды и не приходит в голову доказывать, что норма вектора не меняется при ортогональном преобразовании. Его учебник предназначен для математиков, которым этот факт известен. А вот преобразование совместной плотности, извините, лепо или нелепо, на каждой или не на каждой, а доказывать хотя бы раз следует. А поскольку в стандартной последовательности изложения параметрической статистики это первое место, где такое преобразование имеет шанс встретиться, то и доказывать его следует здесь. Либо обойтись без него, что А.А. и делает. Так что ничем Ваша строчка с оставшейся за кадром теоремой о замене переменной в многомерном интеграле не короче действительно единственной строчки у Боровкова.

[ewert]

--mS-- в сообщении #670383 писал(а):

А поскольку в стандартной последовательности изложения параметрической статистики это первое место, где такое преобразование имеет шанс встретиться, то и доказывать его следует здесь.

Не верю, что параметрическая статистика идёт до теории вероятностей. Никак не могу поверить.

Я ничего не имею против доказательства теоремы 1: в детали не вникал, но примерно те же слова и примерно в том же объёме (можно даже немножко большем) произносить в любом случае пришлось бы. Лемма Фишера для конкретно этой теоремы избыточна, но она и самоценна, так что и тут всё в порядке. Но вот доказательство леммы 1, с кручением-верчением характеристических функций (которые тут вовсе не при чём), разных сумм и умных матричных выражений -- и всего лишь для доказательства заранее очевидного утверждения об инвариантности сферически симметричных распределений относительно поворотов, да ещё и сильно ослабленного варианта этого утверждения -- это какой-то сюрреализм, ей-богу. Такое впечатление, что Боровков просто издевается над читателем.

[--mS--]

И при чём тут теория вероятностей? Вы не мыслите себе теорию вероятностей без технических утверждений для инженеров о поворотах нормальных векторов? Или без "инвариантности сферически симметричных распределений относительно поворотов"? Это учебник для математиков. Которым впервые могли потребоваться такие приёмы ровно тут. Так что есть смысл и его вычеркнуть, следом за "Вероятностью" Ширяева, из Вашего списка "общеупотребительной литературы", благо автор этого и не заметит.
Нет, Боровков не издевается. Он просто знает, что аппарат х.ф. гораздо мощнее и удобнее в применении, чем любые плотности, а также читал (и писал) оба учебника с самого начала, и твёрдо знает, на какой материал может опираться, и какой нужен для дальнейшего изложения, а на какой нет.

[ewert]

Даже математикам нежелательно пренебрегать математической культурой. Если соображения симметрии работают -- их надо схватывать на лету. И не растягивать на пятнадцать строчек занудных выкладок то, что требует двух-трёх строк обычного текста.

Впрочем, вольному -- воля. Можете и таблицу умножения доказывать с помощью аппарата характеристических функций. Коль скоро уж он такой мощный и удобный.

[Евгений Машеров]

поправляя фуражку прапорщика Ясненько, старшины роты капитана Очевидность:
Методами линейной алгебры можно доказать только некоррелированность (ортогональность) величин. Если у нас предполагается известным, что для нормальных величин из некоррелированности следует независимость - значит, для доказательства независимости этого достаточно. Если не предполагается - надо это доказывать особо.