дисперсионный анализ

[AndreyL]

Дамы и Господа!

Возник вопрос с законом распределения межгрупповой дисперсии в однофакторном дисперсионном анализе с повторными измерениями.

Есть несколько ($K$ штук) выборок, каждая объемом $n_k$. Для простоты возьмем, что элементы этих выборок берутся из нормального распределения с некоторым центром (для всех одинаковым) и дисперсией 1. Тогда величина $SS_1=\sum \limits_{k=1}^K \sum\limits_{i=1}^{n_k} (x_{ki}-\bar x_k)^2=\sum\limits_{k=1}^K (n_k-1) s^2_k$ подчиняется распределению $\chi^2$ с $N-K$ степенями свободы. Здесь оценки средних по выборкам $\bar x_k=\frac{1}{n_k}\sum\limits_{i=1}^{n_k} x_{ki}$, оценки дисперсий по выборкам $s^2_k=\frac{1}{n_k-1}\sum\limits_{i=1}^{n_k} (x_{ki}-\bar x_k)^2$, объем обобщенной выборки $N=\sum\limits_{k=1}^K n_k$. Это понятно. То, что величина $SS_0=\sum \limits_{k=1}^K \sum\limits_{i=1}^{n_k} (x_{ki}-\bar x)^2$ подчиняется распределению $\chi^2$ с $N-1$ степенями свободы, тоже понятно. Здесь обобщенное среднее $\bar x=\frac{1}{K}\sum \limits_{k=1}^K \sum\limits_{i=1}^{n_k} x_{ki}=\frac{1}{K}\sum\limits_{k=1}^{K} n_k \bar x_k$

А вот почему величина $SS_2=\sum\limits_{k=1}^K n_k(\bar x_k-\bar x)^2$ подчиняется распределению $\chi^2$ с $K-1$ степенями свободы - не понятно. При этом ясно, что $SS_0=SS_1+SS_2$. Но по идее нормальному распределению (с центром 0 и дисперсией 1) должны подчиняться величины $U_k=\sqrt {\frac{n_k N}{N-n_k}} (\bar x_k-\bar x)$, а не $V_k=\sqrt {n_k}(\bar x_k-\bar x)$. Если это так, то распределению $\chi^2$ должна подчиняться величина $\sum\limits_{k=1}^K U_k^2$. Но $\sum\limits_{k=1}^K U_k^2 \neq \sum\limits_{k=1}^K V_k^2$. Как правильно показать, что именно $SS_2=\sum\limits_{k=1}^K V_k^2$ подчиняется распределению $\chi^2$?

[--mS--]

AndreyL в сообщении #962287 писал(а):

А вот почему величина $SS_2=\sum\limits_{k=1}^K n_k(\bar x_k-\bar x)^2$ подчиняется распределению $\chi^2$ с $K-1$ степенями свободы - не понятно. При этом ясно, что $SS_0=SS_1+SS_2$.

Потому что слагаемые в правой части независимы, левая часть имеет распределение $\chi^2(N-1)$, первое слагаемое - распределение $\chi^2(N-K)$.

Характеристическая функция распределения $\chi^2(m)$ есть $\varphi(t)=(1-2it)^{-m/2}$. Характеристическая функция суммы двух независимых слагаемых есть произведение их х.ф. Поэтому

$$\varphi_{SS_0}(t)=(1-2it)^{-(N-1)/2} = (1-2it)^{-(N-K)/2} \cdot \varphi_{SS_2}(t),$$

откуда $\varphi_{SS_2}(t)=(1-2it)^{-(K-1)/2}$, т.е. $SS_2\sim \chi^2(K-1)$.

[AndreyL]

Правильно ли я понимаю, что здесь закон распределения $SS_2$ выводится из равенства $SS_0=SS_1+SS_2$? Т.е. если известно (а это известно), что $SS_0 \in \chi^2(N-1)$ и $SS_1 \in \chi^2(N-K)$, то с учетом того, что $\chi^2(m_1)+\chi^2(m_2) \in \chi^2(m_1+m_2)$ получается, что $SS_2 \in \chi^2(K-1)$. Здесь символ $\in$ используется как "подчиняется распределению" - не знаю, какой значок тут правильно поставить. Можно ли вывести закон распределения $SS_2$ в лоб, не задействуя равенство $SS_0=SS_1+SS_2$?

[--mS--]

Вы принципиально не произносите в нужных местах слово "независимы"? Эта болезнь продолжается уже давно.

Напрямую вывести наверняка можно с помощью леммы Фишера.

[--mS--]

Достаточно того, что величины $z_i=\sqrt{n_k}(\overline x_k-a)$, $k=1,\ldots,K$ при верной основной гипотезе о совпадении средних можно считать выборкой из $N(0,\,1)$. Поэтому

$$SS_2=\sum n_k (\overline x_k - \overline x)^2 = \sum n_k (\overline x_k-a - (\overline x-a))^2 = \sum n_k z_k^2 - N(\overline x-a)^2.$$

При этом

$$ N(\overline x-a)^2 = \left(\dfrac{\sqrt{n_1}z_1+\ldots+\sqrt{n_K}z_k}{\sqrt{N}}\right)^2 = y_1^2,$$

где $y_1$ можно считать первой координатой вектора $\vec y=C\vec z$, полученного из стандартного нормального вектора $\vec z=(z_1,\ldots,z_K)^T$ умножением на ортогональную матрицу $C$ с первой строкой $\left(\frac{\sqrt{n_1}}{\sqrt{N}}, \ldots, \frac{\sqrt{n_K}}{\sqrt{N}}\right)$. По лемме Фишера разность $SS_2=\sum_{k=1}^K n_k z_k^2-y_1^2$ имеет распределение $\chi^2(K-1)$.

См. лемму Фишера тут, например: http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf