2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3, 4  След.
 
 Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение03.12.2021, 10:06 


03/12/21
52
Добрый день, проясните, пожалуйста, ситуацию, возникающую при применении критерия согласия Пирсона.
Смысл его в том, что для проверки гипотезы "случайная величина имеет тип распределения ____" мы:
1) разбиваем выборку на несколько интервалов
2) сравниваем эмпирическую частоту попадания в интервал для выборки и теоретическую вероятность попадания в интервал для распределения проверяемого типа.

Но, кроме вероятности попадания в интервалы "как в выборке" ведь есть вероятность того, что случайная величина вообще не попадет в границы выборки? Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон. С какой-то вероятностью случайная величина попадет в интервал (0,2), как мы можем ее игнорировать?
Какие источники ни нахожу - все игнорируют этот вопрос. Везде сравнивают частоты "внутри выборки", и не смущаются, что сумма вероятностей не 1.
Я бы считал, что крайние интервалы в выборке нужно искусственно расширить до бесконечности.
Буду благодарен за обсуждение, а еще больше - за ссылку на учебник, где эти вопросы упоминаются

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение03.12.2021, 10:26 
Аватара пользователя


21/01/09
3925
Дивногорск
Вы зачем-то всё время отождествляете частоту с вероятностью. В чём заключается ваш вопрос так и не понял.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение03.12.2021, 12:02 
Аватара пользователя


21/01/09
3925
Дивногорск
F111mon в сообщении #1541465 писал(а):
Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон. С какой-то вероятностью случайная величина попадет в интервал (0,2), как мы можем ее игнорировать?
Никак. Для показательного закона она максимально вероятна для этого интервала. С чего вы взяли что она проигнорирована?

-- Пт дек 03, 2021 16:06:03 --

F111mon в сообщении #1541465 писал(а):
Я бы считал, что крайние интервалы в выборке нужно искусственно расширить до бесконечности.
В случае показательного закона влево расширить вряд ли удастся, а в право расширяется вполне естественно.

-- Пт дек 03, 2021 16:09:29 --

F111mon в сообщении #1541465 писал(а):
и не смущаются, что сумма вероятностей не 1.
С чего вы взяли? Сумма вероятностей всевозможных значений св всегда 1.

-- Пт дек 03, 2021 16:20:10 --

F111mon в сообщении #1541465 писал(а):
Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон.
Нужно в этом случае проверять показательный закон, ограниченный справа на уровне 2.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение03.12.2021, 22:36 
Заслуженный участник
Аватара пользователя


30/01/09
7068
F111mon в сообщении #1541465 писал(а):
Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон. С какой-то вероятностью случайная величина попадет в интервал (0,2), как мы можем ее игнорировать?

Ссылочку с игнорированием можно?

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение04.12.2021, 10:22 


03/12/21
52
мат-ламер в сообщении #1541541 писал(а):
F111mon в сообщении #1541465 писал(а):
Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон. С какой-то вероятностью случайная величина попадет в интервал (0,2), как мы можем ее игнорировать?

Ссылочку с игнорированием можно?


Вот, например, http://www.mathprofi.ru/kriteriy_soglasiya.html
Разбивается на интервалы значение выборки, и теоретические частоты подсчитываются для этих интервалов.
Вопрос о том, что происходит вне интервалов, не поднимается.
Или вот:
http://www.matem96.ru/primer/primer_terver7.shtml
Здесь потерялось аж 5%, но...
Есть печатные издания, но на них ссылку дать, даже если в сети, проблематично. Вы будете читать 60 страниц?

Но в целом, пожалуй, я свой вопрос снимаю. Есть книга, где оформлено правильно, а неверные примеры стоит квалифицировать как небрежность.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение04.12.2021, 10:33 


30/09/18
164
Вроде классика - не игнорировать. Просто крайние интервалы расширяются.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение04.12.2021, 12:20 
Аватара пользователя


21/01/09
3925
Дивногорск
F111mon в сообщении #1541565 писал(а):
Есть книга, где оформлено правильно
Дайте ссылку.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение04.12.2021, 19:27 
Заслуженный участник


12/07/07
4522
Для простоты пусть случайная величина абсолютно непрерывная (т.е. имеет плотность в школьном смысле).

В случае проверки простой гипотезы разбивают на отрезки (обычно с одинаковой вероятностью принять случайной величине значение, принадлежащее отрезку) весь промежуток на котором плотность больше нуля.

В случае проверки сложной гипотезы находят состоятельные оценки параметров и строят (случайное) разбиение опять всего промежутка на котором плотность больше нуля.

Во многих учебниках есть этот материал. См., например, Ивченко Г.И., Медведев Ю.И. Математическая статистика, 1984.

По поводу сложной гипотезы см. статью Чибисов Д. М. Некоторые критерии типа хи-квадрат для непрерывных распределений// Теория вероятн. и ее примен., 1971, т. 16, вып. 1, с. 3–20

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение05.12.2021, 20:20 
Заслуженный участник
Аватара пользователя


11/03/08
9906
Москва
Сумма вероятностей попадания в интервалы разбиения, разумеется, обязана быть равна единице. А границы интервалов не обязаны совпадать с границами выборки. В частности, для показательного распределения должен быть интервал, начинающийся от нуля. Даже если ни одного значения из выборки туда не попадает. И должен быть интервал, заканчивающийся в бесконечности. Интервалы не обязаны быть равной длины (на самом деле это не лучший выбор, с равной теоретической вероятностью лучше, просто нарезать на равные куски проще). И даже конечную длину иметь не обязаны.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 02:41 
Аватара пользователя


21/01/09
3925
Дивногорск
Евгений Машеров в сообщении #1541759 писал(а):
Сумма вероятностей попадания в интервалы разбиения, разумеется, обязана быть равна единице.
Для этого необходимо чтобы крайние интервалы были открытыми.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 06:38 
Заслуженный участник
Аватара пользователя


11/03/08
9906
Москва
Сказал бы "Спасибо, кэп!", но как раз для показательного достаточно одного интервала с бесконечной границей.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 06:58 
Аватара пользователя


21/01/09
3925
Дивногорск
Александрович в сообщении #1541481 писал(а):

F111mon в сообщении #1541465 писал(а):
Я бы считал, что крайние интервалы в выборке нужно искусственно расширить до бесконечности.
В случае показательного закона влево расширить вряд ли удастся, а в право расширяется вполне естественно.

F111mon в сообщении #1541465 писал(а):
Например, если выборка у нас в диапазоне 2-10, а проверяем мы показательный закон.
Нужно в этом случае проверять показательный закон, ограниченный слева на уровне 2, а справа на уровне 10.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 07:14 
Заслуженный участник


09/05/13
8904
∞⠀⠀⠀⠀
F111mon в сообщении #1541465 писал(а):
Какие источники ни нахожу - все игнорируют этот вопрос. Везде сравнивают частоты "внутри выборки", и не смущаются, что сумма вероятностей не 1.
Я бы считал, что крайние интервалы в выборке нужно искусственно расширить до бесконечности.
Буду благодарен за обсуждение, а еще больше - за ссылку на учебник, где эти вопросы упоминаются

Это не то место, где принято вдаваться в частности и отличать одно распределение от другого. (На то критерий и непараметрический).
В качестве системы интервалов вполне допустимо (и даже полагается) брать разбиение всей вещественной оси на конечное число промежутков. Принципиально только накопление достаточного количества эмпирических и теоретических частот. На этом обычно заостряется внимание. И в первую очередь оно заостряется при выдвижении гипотезы о типе распределения. Вряд ли стоит предполагать, что распределение показательно, если гистограмма - нет. Впустую потраченное время.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 09:18 
Аватара пользователя


21/01/09
3925
Дивногорск
Мне понятен вопрос, поставленный топикстартёром. Я тоже с этим неоднократно сталкивался. Проблему решил введением ограничения функции распределения св.

 Профиль  
                  
 
 Re: Вопрос по критерию согласия Пирсона (хи-квадрат)
Сообщение06.12.2021, 19:41 
Заслуженный участник


09/05/13
8904
∞⠀⠀⠀⠀
Мне тоже понятен. Не вижу проблемы.
Гипотезу о показательном распределении выдвигать бы не стала, если очень похоже, но сдвинуто на два, то есть смысл вместо стандартного показательного брать распределение с плотностью $c\exp{(-c(x-2))}, \  x \ge 2$.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 55 ]  На страницу 1, 2, 3, 4  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group