Критерий Пирсона

[Jewel]

Задача следующая. Есть выборка (например, из 1000 элементов) и две гипотезы: что она распределена по распределению Вейбулла или по нормальному закону. При помощи критерия Пирсона надо не просто определить, какая из них верна с определенным уровнем значимости (это то во всех учебниках объяснено!), а вероятность верности первой гипотезы и вероятность верности второй. Как это сделать???
Я посчитала хи квадрат для распределения Вейбулла - вышло 0,5826, для нормального закона - 1,4214. Это делалось для пятисот интервалов, потому что иначе получаются еще более близкие значения. (да, кстати, в программном пакете Mаtlab, а не вручную, конечно). А в таблице критическое значение для столь большого значения ( (500-3-1)=497 и уровень значимости 0,05) равно 549,97... Получается, что обе гипотезы верны Я вот этого еще не понимаю...
Но как же все-таки вероятность определить?
У меня была мысль: если бы хи квадрат был равен 0, то значит гипотеза верна с вероятностью 1, правильно? А если 550 - то с вероятностью 0,95. И если принять, что хи квадрат там, внутри этого интервала, распределен равномерно, то можно было бы подсчитать..... Хотя я понимаю, что это глупость) Но мне надо в понедельник показывать результаты работы, а я не знаю, как сделать... Подскажите, пожалуйста...

[PAV]

Пятьсот интервалов - многовато для выборки объема 1000. Я бы взял существенно меньше. Вам ведь нужно по тому, сколько точек попадет в тот или иной интервал, оценить теоретическую вероятность попадания. А достаточно точно определить вероятность можно только при условии, что событие произошло достаточно часто. Т.е. нужно число интервалов выбрать таким, чтобы число точек в типичном интервале было бы ну хотя бы десяток-другой.

Еще попробуйте сравнить теоретические распределения и можно попробовать сконцентрироваться только на той части оси, где они значимо отличаются. Но это так, эвристические соображения.

[GAA]

Jewel в сообщении #292588 писал(а):

При помощи критерия Пирсона надо не просто определить, какая из них верна с определенным уровнем значимости (это то во всех учебниках объяснено!), а вероятность верности первой гипотезы и вероятность верности второй. Как это сделать???

Никак. Можно вычислить «реально достигнутый уровень значимости», т.е.

$\mathsf P_{H_0} \{T(X_1, \ldots, X_n) > T(x_1, \ldots, x_n)\}$,

где $T(X_1, \ldots, X_n)$ — статистика критерия, $T(x_1, \ldots, x_n)$ — значение статистики, полученное в эксперименте.

Jewel в сообщении #292588 писал(а):

Я посчитала хи квадрат для распределения Вейбулла - вышло 0,5826, для нормального закона - 1,4214.

Если параметры не известны и оцениваются методом максимального правдоподобия по исходной (не группированной выборке), то теорема Фишера не имеет силы. Укажите, как Вы находили значение статистики $X^2$.

Отредактировано: перед фигурными скобками поставлены обратные «слеши», которые первоначально были пропущены..

[Jewel]

PAV
Спасибо за совет насчет интервалов, учту.
А вот насчет второго - сложнее... Мне же надо программу написать... И как там "сконцентрироваться на отдельной части оси" - не очень ясно... Хотя я подумаю, спасибо.
GAA
О-е-ей... Параметры и правда были не известны, я их и правда находила по методу максимального правдоподобия, но не думала, что это имеет значение... А как же тогда?..
Извините, не очень поняла, что такое "реально достигнутый уровень значимости". Это то же самое, что просто уровень значимости или нет?

[GAA]

1. Использовать для параметров оценку минимума-$\chi^2$ (или ей асимптотически эквивалентную), либо использовать специальные таблицы. К сожалению, я хороших таблиц не знаю. Можно попробовать использовать таблицы Б.Ю. Лемешко и сотрудники (эти таблицы довольно старые).

2. Использовать критерий согласия типа Колмогорова (типа одновыборочного критерия Колмогорова — Смирнова). Для такого модифицированного критерия:
2A. Есть старые, полученные численно, таблицы (с крупным шагом) Ю.Н. Тюрина и сотрудников для приближенных критических значений статистики в случае нормального распределения и распределения Вейбулла, в частности.
2B. Существуют таблицы полученные методом Монте-Карло. Можно попробовать искать по ключевым словам Лиллиефорс (Lilliefors Н.) и Стефенс (Stephens M.A.). Это очень старые таблицы. Думаю, они безнадежно устарели. Но сейчас рассчитаны и более точные таблицы и они по традиции называются таблицами для критерия Лиллиефорса.

Отредактировано на следующий день. Когда первоначально писал, был сильно уставшим и свалил в одну кучу критерий типа Пирсона и типа Колмогорова.

[GAA]

Я немного отредактировал свои вчерашние сообщения.

Jewel в сообщении #292720 писал(а):

Извините, не очень поняла, что такое "реально достигнутый уровень значимости". Это то же самое, что просто уровень значимости или нет?

Где-то из той же «области». Я не знаю, что можно добавить к приведенному выше определению, разве что такое пояснение:
Достигнутый уровень значимости — это вероятность, в предположении верности основной гипотезы, получить большее значение статистики критерия, чем при данной реализации выборки. Чем эта величина больше, тем лучше согласуются данные с основной гипотезой. Обычно в книгах пишут: «чем эта величина меньше, тем сильнее свидетельствует выборка против гипотезы».

[headrd]

Применение непараметрических критериев согласия при проверке сложных гипотез (при оценивании параметров методом максимального правдоподобия по той же выборке) можно посмотреть по ссылкам:
http://ami.nstu.ru/~headrd/seminar/publ ... Part_I.pdf
http://ami.nstu.ru/~headrd/seminar/publ ... art_II.pdf