Проверка на нормальное распределение

[alebezh]

Нужно разработать простой алгоритм для проверки выборки на нормальность распределения. Может использовать какие-то свойства нормального распределения? Какой критерий проще реализовать?

[profrotter]

Ну, то есть, традиционная гистограмма вам не подходит?

[alebezh]

Нет, нужно написать функцию, которая на входе принимала выборку, а на выходе выдавала ответ TRUE/FALSE, нормально ли распределена выборка

[мат-ламер]

Можно воспользоваться статистическими критериями (хи-квадрат, Колмогорова-Смирнова).

[profrotter]

Ну так по выборке строите гистограмму $w_{\text{выборки}}(x)$, определяете мат. ожидание и дисперсию, после чего устанавливаете степень равномасштабного подобия полученного закона распределения и нормального закона с теми же параметрами распределения $w(x)$. Например: если

$$\frac {\int\limits_{x_{\min}}^{x_{\max}}w_{\text{выборки}}(x)w(x)dx} {\frac 1 2 (\int\limits_{x_{\min}}^{x_{\max}}w_{\text{выборки}}^2(x)dx+\int\limits_{x_{\min}}^{x_{\max}}w^2(x)dx)}>h,$$

где опытным путём $h=0.5 - 0.8 $, то принимаем гипотезу о нормальном распределении. (А то по-настоящему проверка гипотез будет гораздо серьёзнее. )

[arseniiv]

alebezh в сообщении #492612 писал(а):

а на выходе выдавала ответ TRUE/FALSE, нормально ли распределена выборка

Может, лучше выдавать вероятность?..

[Александрович]

На вход должно быть подано:
1. Выборка,
2. Критерий,
3. Уровень значимости.
Про критерии проверки гипотезы на нормальность хорошо описано в
Игорь Гайдышев. Анализ и обработка данных. Специальный справочник. 2001 г.

[--mS--]

arseniiv в сообщении #492616 писал(а):

Может, лучше выдавать вероятность?..

Что Вы! Её же потом ещё придётся как-то трактовать или звать того, кто может по её значению сказать TRUE или FALSE

[PAV]

В учебный раздел

-- Сб окт 15, 2011 22:40:30 --

Хи-квадрат не очень удобен тем, что там нужно из каких-то соображений задавать интервалы. Рекомендую Колмогорова-Смирнова.

[--mS--]

PAV в сообщении #492929 писал(а):

Хи-квадрат не очень удобен тем, что там нужно из каких-то соображений задавать интервалы. Рекомендую Колмогорова-Смирнова.

Критерий Колмогорова в принципе не умеет проверять сложные гипотезы. Нормальность в частности. Предельное распределение статистики критерия очень сильно испортится, если параметры заменить оценками по выборке. Это типичная ошибка при его использовании. В частности, критерий перестанет быть непараметрическим: для каждого класса распределений следует ожидать своего предельного распределения. Которое, видимо, стохастически меньше распределения Колмогорова (в чём не уверена). Если действительно меньше, то при заданном критическом уровне ситуацию, когда статистика критерия не превышает квантили распределения Колмогорова нужного уровня, можно трактовать в пользу основной гипотезы. А вот ситуацию, когда она превышает квантиль, уже нельзя трактовать в пользу альтернативы. Таблиц для предельного распределения в случае нормальной гипотезы с оцененными параметрами (критерий Лиллиефорса называется) не видела. Буду рада, если кто покажет, где они есть.

Критериев для проверки нормальности тьма-тьмущая: http://en.wikipedia.org/wiki/Category:Normality_tests.
Самые простые - основанные на моментах: асимметрии, эксцессе. Более мощные - модификации критерия омега-квадрат, типа критерия Андерсона - Дарлинга. Последний легко вычисляется на компьютере, можно его использовать.

[Александрович]

PAV в сообщении #492929 писал(а):

Рекомендую Колмогорова-Смирнова.

Такого критерия нет.

[ewert]

Александрович в сообщении #493046 писал(а):

Такого критерия нет.

Есть. Вот чего нет (точнее, трудно найти) -- так это статистики Колмогорова. Хоть в виде таблицы, хоть в виде реализованной процедуры её вычисления.

[PAV]

Математическая энциклопедия (в 5 томах, 1979г), том 2, стр. 959.

[Александрович]

ewert в сообщении #493052 писал(а):

Александрович в сообщении #493046 писал(а):

Такого критерия нет.

Есть.

Нет. Есть критерий Кормогорова для проверки гипотезы о принадлежности выборки известному распределению и критерий Смирнова для проверки гипотезы о принадлежности двух выборок одному распределению.

-- Вс окт 16, 2011 15:34:47 --

ewert в сообщении #493052 писал(а):

Вот чего нет (точнее, трудно найти) -- так это статистики Колмогорова. Хоть в виде таблицы, хоть в виде реализованной процедуры её вычисления.

Большев, Смирнов. Таблицы математической статистики стр.348.

[ewert]

Александрович в сообщении #493057 писал(а):

Есть критерий Кормогорова для проверки гипотезы о принадлежности выборки известному распределению и критерий Смирнова для проверки гипотезы о принадлежности двух выборок одному распределению.

Тем не менее -- словосочетание "критерий Колмогорова-Смирнова" вполне устойчиво (см., например, ссылку PAV).

Александрович в сообщении #493057 писал(а):

Большев, Смирнов. Таблицы математической статистики стр.348.

Я в курсе (хотя у меня 346, а не 348). Только куценькая там табличка и очень плохо описывает поведение на хвостах. Я когда-то набросал процедурку, обсчитывающую в т.ч. и хвосты, но куда потом задевал -- уже не помню.

PAV в сообщении #493056 писал(а):

Математическая энциклопедия (в 5 томах, 1979г), том 2, стр. 959.

Ну какая может быть табличка в энциклопедии?... Её там и нет. Есть лишь главные члены асимптотик.