Проверка на нормальное распределение

[Andrew Gubarev]

Тестирование критических значений статистики критерия Андерсона — Дарлинга для гипотезы «нормальности»

[В серии работ Стефенса используется договорённость о нумерации случаев проверки гипотезы о «нормальности». 0 — случай, когда параметры известны (проверка простой гипотезы); 1 — неизвестно ожидание, но известна дисперсия, 2 — известно ожидание, но не известна дисперсия; 3 — оба параметра неизвестны. Эта договорённость принята и в этом сообщении.]

На сегодняшний день на странице Anderson–Darling test английской вики выложен вариант критических значений «асимптотического» распределения статистики $A^2$ для всех четырёх случаев и модификация статистики для применения критерия в случае 3 для выборок малого объёма ($A^{2*}=A^2(1+4/n-25/n^2)$); работа [7]. [В вики, в отличие от Стефенса, нумерация случаев начинается не с 0, а с 1.] К сожалению, в работе [9] отмечается, что при нахождении асимптотических распределений статистики в [7] были допущены просчёты и приводятся исправленные критические значения статистики. Выражение модифицированной статистики для случая 3 не приводится.

Также на вики выложен более поздний вариант критических значений асимптотического распределения $A^2$ и модификация статистики для случая 3 для выборок малого объема: $A^{2*} = A^2(1+0.75/n +2.25/n^2)$; [8]. (Книгу [8] я не читал, но такие критические значения и модификация статистики приводятся в других источниках со ссылкой на [8].)

В [7] указывается: в случае 2, как и в случае 0, уже для выборок объемом большим 5 можно пользоваться асимптотическим распределением.
Для удобства критические значения статистики (для случая, когда и дисперсия и ожидание оцениваются по выборке) приведены в табл. 1. Видно: критические значения D’Agostino практически совпадают с критическими значениями Stephens-76, а также близки к значениям [1].

Табл 1. Процентные точки статистики при проверке «нормальности».
\small \begin{array}{|c | c | c | c | c |} \hline & \text{case} & \varepsilon = 0.1 & \varepsilon = 0.05 & \varepsilon = 0.01 \\ \hline \text{Stephens (1974)} & (1) / (2) / (3)& 0.908 / 1.760 / 0.656 & 1.105 / 2.323 / 0.787 & 1.573 / 3.690 / 1.092 \\ \hline \text{Stephens (1976)} & (1) / (2) / (3)& 0.897 / 1.761 / 0.632 & 1.088 / 2.315 / 0.751 & 1.541 / 3.682 / 1.029 \\ \hline \text{D’Agostino (1986)} & (3) &0.631& 0.752& 1.035 \\ \hline \text{Лемешко} & (1)/(2)/(3) & 0.892/ 1.743 / 0.629 & 1.087 / 2.309 / 0.750 & 1.552 / 3.704 / 1.030 \\ \hline \end{array}

Предварительное моделирование показало: как и ожидается, критические значения Стефенса 74 никуда не годятся.

Для того чтобы получить представление насколько хороши критические значения и модификация статистики D’Agostino для случая 3, а также насколько хороши для случаев 1 и 2 критические значения Стефенса 76 и при каких объемах выборки ими уже можно пользоваться было выполнено незамысловатое моделирование, в котором оценивалась вероятность отвергнуть истинную гипотезу (оценивался «реальный» уровень значимости). Данные приведены в табл. 2. Для получения оценок для каждого объёма выборки генерировалось 500 тыс. реализаций выборки. Для вычисления функции распределения, как и в предыдущем сообщении, использовалась функция библиотеки alglib [2].

Табл. 2 — Оценки вероятности отклонить гипотезу, когда она верна
\small \begin{array}{|r | c |c | c | c | c|} \hline n& & \text{case}& \varepsilon = 0.1 & \varepsilon = 0.05 & \varepsilon = 0.01 \\ \hline 5 & \text{Простая гипотеза} &(0) & 0.102 & 0.0524 & 0.0112 \\ \hline 5 & \text{Stephens (1976)} & (1)/(2) & 0.080 / 0.104 & 0.0394 / 0.0444 & 0.0087 / 0.0026 \\ \hline 5 & \text{D’Agostino} & (3) & 0.105 & 0.0472 & 0.0069 \\ \hline 10 & \text{Простая гипотеза} & (0) & 0.102 & 0.0515 & 0.0107 \\ \hline 10 & \text{Stephens, (1976)} & (1)/(2) & 0.090 / 0.101 & 0.0444 / 0.0480 & 0.0092 / 0.0067 \\ \hline 10 & \text{D’Agostino} & (3) & 0.102 & 0.0503 & 0.0094 \\ \hline 30 & \text{Простая гипотеза} & (0) & 0.101 & 0.0506 & 0.0104 \\ \hline 30 & \text{Stephens (1976)} & (1)/(2) & 0.090 / 0.101 & 0.0485 / 0.0493 & 0.0101 / 0.0095 \\ \hline 30 & \text{D’Agostino} & (3) & 0.101 & 0.0502 & 0.0104 \\ \hline 100 & \text{Простая гипотеза} & (0) & 0.100 & 0.0499 & 0.0102 \\ \hline 100 & \text{Stephens (1976)} & (1)/(2) & 0.097 / 0.098 & 0.0493 / 0.0493 & 0.0103 / 0.0101 \\ \hline 100 & \text{D’Agostino} & (3) & 0.100 & 0.0497 & 0.0099 \\ \hline 500 & \text{Простая гипотеза} & (0) & 0.100 & 0.0503 & 0.0104 \\ \hline 500 & \text{Stephens (1976)} & (1)/(2) & 0.099 / 0.098 & 0.0504 / 0.0495 & 0.0105 / 0.0100 \\ \hline 500 & \text{D’Agostino} & (3) & 0.100 & 0.0497 & 0.0098 \\ \hline 1000 & \text{Простая гипотеза} & (0) & 0.100 & 0.0500 & 0.0102 \\ \hline 1000 & \text{Stephens (1976)} & (1)/(2) & 0.099/0.098 & 0.0500 / 0.0499 & 0.0105 / 0.0102 \\ \hline 1000 & \text{D’Agostino} & (3) & 0.100 & 0.0497 & 0.0101 \\ \hline \end{array}

Ref. (ссылки [1] и [2] приведены в предыдущем сообщении)
[7] Stephens M.A. EDF Statistics for Goodness of Fit and Some Comparisons. //Journal of the American Statistical Association, 69, 730–737 (1974) (pdf)
[8] D'Agostino R.B., Stephens M.A. Goodness-of-Fit Techniques. – N.Y.: Marcel Dekker, 1986.
[9] Stephens M.A. Asymptotic results for goodness-of-fit statistics with unknown parameters // The Annals of Statistics, Vol. 4, No. 2, 357–369 (1976).

[eugrita]

У меня сейчас та же проблема.
Дать грамотное объяснение задачи из задачн.Натана (МФТИ)
Пусть $F_n(x)$ –эмпирическая функция распределения, полученная по простой выборке$X_1,X_2,…X_n$ случайной величины X обладающей ф р $F(x)$ . Оценить при больших n вероятность события $|Fn(x)-F(x)|<t $|
решение по критерию Колмогорова видно такое
$P(|Fn(x)-F(x)|<t) \le \frac{K^{-1}(\alpha)}{\surd(n)}$
где $t=K^{-1}(\alpha)$ квантиль предельного распределения Колмогорова. Только где его взять этот квантиль?

[eugrita]

Кроме того, разные источники используют разные поправки к статистике Колмогорова
так в википедии для проверки гипотезы нормальности
$D^*=D_n(\surd{n}-0.01+\frac{0.85}{\surd{n}})$
а поправка Большева имеет вид
$\surd{n}D_n+\frac{1}{6\surd{n}}$
Кроме того дается приближение к предельному распределению Колмогорова
$K_a=\surd{-0.5\ln(\frac{1-a}{2})}$
которое непонятно, можно ли использовать в компьютерных расчетах для проверки принадлежности к данному распределению по крит.Колмогорова

[GAA]

eugrita
1. Судя по описанию проблемы, проверяется простая гипотеза (параметры известны, а не подлежат оцениванию по выборке).
В этом случае для малых объемов выборки используются критические значения для точного распределения статистики $D_n$. Эти критические значения для выборок объемом до 100 [Тбл. 6.2. Критические значения для наибольшего отклонения эмпирического распределения от теоретического (Критерий Колмогорова), с. 347 в издании 1983 г.] и формулы для вычисления статистики приведены в книге Большёв Л.Н., Смирнов Н.В. Таблицы математической статистики (ТМС); можно нагуглить в сети, на форуме ссылку давал ewert.
Для выборок промежуточных объемов используется статистика $S_K =\sqrt{n}D_n+\frac{1}{6\sqrt{n}}$ и квантили асимптотического распределения Колмогорова. Квантили этого распределения можно найти в той же книге (ТМС). Наконец, для выборок очень большого объема может быть использована статистика $\sqrt{n}D_n$. Объем выборки, начиная с которого можно пользоваться статистикой $S_K$ или $\sqrt{n}D_n}$, зависит от погрешности, которой Вы готовы пренебречь. Некоторые замечания приведены в ТМС.

«Правильность» ответа в учебной задаче зависит от прочитанного материала. На многих специальностях приводят сведения только об асимптотическом критерии согласия Колмогорова и только о $\sqrt{n}D_n}$. Тут надо смотреть программу или конспект.


2. Статистика $D^*=D_n(\sqrt{n}-0.01+\frac{0.85}{\sqrt{n}})$ предложена Стефенсом (1974) для проверки на нормальность, когда оба параметра оцениваются по выборке (разновидность сложной гипотезы). [Я тестировал приведенные в работе Стефенса (1974) критические значения, предложенные для статистики $D^*$. Они оказались не очень точными.] В этом случае для выборок объемом до 100 я бы пользовался таблицей «точных» критических значений (найденных экспериментально, методом Монте-Карло) [а если бы нашёл длинные таблицы, то и до 200]. Для больших объемов выборок я бы воспользовался результатами Тюрина или Лемешко Б.Ю., Лемешко С.Б. (2009).

[Vladzal]

Автоматизировать расчёты для оценки нормальности распределения по различным критериям легко в Excel. Смотри, напр., [censored]. Достаточно один раз создать электронную таблицу, а затем только вводить данные и получать ответ, нормальное ли распределение.

[GAA]

В текущей редакции материала В.В. Заляжных «Статистические расчёты при обработке результатов испытаний (измерений)» в лабораторной работе № 11 (Критерий Колмогорова) предлагается использовать статистику $D_n \left(\sqrt n + 0.12 + 0.11/\sqer n \right)$ для проверки простой гипотезы, и статистику $D_n \left(\sqrt n - 0.01 + 0.85/\sqrt n \right)$ для сложной гипотезы, когда оба параметра оцениваются по выборке. Ссылка на источник не приводится.

Эти статистики и приведенные в материалах. Критические значения заимствованы из работы Стефенса 1974 г [см. в ней ссылки на оригинальные публикации Стефенса]. Эти критические значения не очень точные.
Статистики и их критические значения для сложной гиротезы были подобраны Стефенсом по результатам статистических испытаний.

Если есть необходимость проверять простую гипотезу с «большой точностью», то в случае «малых выборок» я бы посмотрел: G. Marsaglia, W.W. Tsang, J. Wang “Evaluating Kolmogorov's Distribution” // JSS, Vol. 8 (2003).

[Toucan]

Vladzal, замечание за рекламу собственного сайта. Напоминаю Правила форума:

Forum Administration в Правилах форума писал(а):

5.5. Ссылки на личные сайты участников допускаются только в подписи и профиле.

Ссылки удалены.

[eugrita]

GAA. Спасибо конечно за полный ответ на мои вопросы-подозрения.
Вот сегодня купил новую книгу по статистике. Не по принципу где наиболее полно излагаются проверки гипотез, а по принципу дешевле -Просветов.Задачи и решения. И на тему обсуждаемых критериев Комогорова -Смирнова - все эти тонкости естественно не печатаются. Сам критерий обзывается ламбда-критерием и приводится табличка. Так-то лучше- без математических дискуссий для непосвященных читателей

[GAA]

От выбора учебника раскрытие темы "критерий Колмогорова" сильно не зависит. Хотя изложение критерия Колмогорова в различных учебниках и отличается строгостью, но особо подробного и полного изложения ожидать в учебниках не стоит.

Связано это со следующим. Как было ранее указано в данной ветке, критерий согласия Колмогорова (одновыборочный критерий Колмогорова — Смирнова), как правило, имеет меньшую мощность по сравнению с другими критериями. Для случая выборок конечного объема и проверки нормальности (сложная гипотеза) сравнение критериев выполнялось, например, в работах B. W. Yap & C. H. Sim “Comparisons of various types of normality tests” // Journal of Statistical Computation and Simulation, Vol. 81, p. 2141–2155 (2011) [используется название KS для критерия проверки простой гипотезы и LL — для сложной гипотезы] и Hadi Alizadeh Noughabi & Naser Reza Arghami “Monte Carlo comparison of seven normality tests” // Journal of Statistical Computation and Simulation, Vol. 81, p. 965–972 (2011) [используется название KS для критерия проверки сложной гипотезы]. В обеих работах используемые критические значения найдены методом Монте-Карло. В первой работе использовалось достаточно малое число реализаций выборок (50 тысяч) для оценки критических значений статистики. Во второй количество реализаций для оценки критических значений не указано. Однако, качественно картина (в отношении критерия KS) заметно не изменится.

Поэтому, интересующиеся деталями, боюсь, должны обратиться к оригинальным публикациям и справочникам. В случае сложной гипотезы перечень асимптотик приводится, например, в работе Elena Kulinskaya “Coefficients of the asymptotic distribution of the Kolmogorov—Smirnov statistic when parameters are estimated” // Nonparametric Statistics, Vol. 5, p. 43–60 (1995) [равномерное, показательное, нормальное, Вейбулла, Коши, Парето и др.; приведены ссылки на оригинальные публикации.] Возможно это не лучшая ссылка, но в этой работе приведен наиболее полный перечень асимптотик из всех встретившихся мне в легко доступных источниках.

[Vladzal]

Видимо, самое простое - проверка на нормальность по асимметрии и эксцессу. Легко реализуется в Excel, минут за 15. При этом электронная таблица может быть пересчитываемой, т.е. вводите выборку и видите ответ.

[GAA]

Vladzal
Во-первых, статистики многих критериев основаны на выборочной асимметрии $\sqrt{b_1}= m_3 / m_2^{3/2}$ и эксцессе $b_2 = m_4/ m_2^2$, где $m_k$ — выборочный момент k-го порядка: $m_k = \frac{1}{n} \sum_1^n (x_i- \bar x)^k$ или основаны на близких статистиках. Поэтому просто необходимо указывать о каком критерии идёт речь. Общим для всех «моментных критериев» (“Moment tests”), но не только для них, является: (1) известны только асимптотические распределения статистики; (2) сходимость распределений статистик к асимптотическим крайне медленная, для конечных объёмов выборок известны лишь результаты полученные при помощи симуляции (Монте-Карло). Как уже отмечалось выше в теме, результаты, полученные в прошлом методом Монте-Карло, сильно сомнительны. Поэтому, рекомендуя какой-то «моментный критерий» важно приводить ссылки на таблицы критических значений для выборок конечных объёмов.

Например, статистика критерия Jarque–Bera (JB) есть $T = \frac n 6 \left( (\sqrt {b_1})^2 + (b_2-3)^2/4\right)$. В случае JB асимптотическое распределение статистики критерия — $\chi^2$ с двумя степенями свободы. В оригинальной работе C. M. Jarque, A. K. Bera. “A test for normality of observations and regression residuals.” International Statistical Review, 55, p. 163–172 (1987) для выборок конечного объема при симуляции выполнялось очень малое количество генераций реализаций выборок заданного объема (m = 10 тысячам). В дальнейшем симуляция многократно переделывалась, например, в работе Deb P., Sefton M. “The distribution of a Lagrange multiplier test of normality”, Economics Letters, 51 (1996) 123-130 [m = 600 тысяч реализаций (600 000 replications)] или S. Lawford “Finite-sample quantiles of the Jarque–Bera test”, Applied Economics Letters, 2005, 12, 351–354 [m = 1 миллион реализаций, аппроксимация для критических значений уровня 0.05 и 0.10 (квантили уровня 0.95, 0.90)].


Во-вторых, простота вычислений статистики критерия или компактность таблиц критических значений (либо выражений для их аппроксимаций) — на сегодняшний день не имеют никакого значения для практического применения. [Компьютеры стали достаточно мощными, даже ноутбуки.] Важным является широта класса альтернатив, для которых критерий является мощнее других критериев или, в крайнем случае, не намного хуже. К сожалению, в большинстве статей, где приводятся результаты сравнения мощности, не приводятся используемые критические значения и не исследуется влияние погрешности критических значений на результаты.


В целом, рассмотрение критериев для конечных выборок (и в частности нормальности) дело утомительное и занудное. Но раз Вы начинаете писать об этом, то будьте, пожалуйста, подробны: приводите формулы, таблицы и т.п. И, быть может, Вам ответят по существу.