2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 16:21 


07/12/24
1
Добрый день, можете пожалуйста посоветовать.
Делаю лабораторную работу по матстату и к сожалению сталкиваюсь с неожиданными результатами.
Задание было таким: Предположите, какому вероятностному закону подчиняется распределение количества ходов. С помощью статистического теста подтвердите или опровергните это предположение.
Задание решал при помощи scipy в python.
1. По гистограмме сделал предположение о виде распределения
2. При помощи kstest попытался проверить.
Наиболее близкими на мой взгляд это фишера, нормальное, логнормальное.
Результаты kstest:
Fisher: p_value 1.3e-07
Norm: p_value 3.83e-102
LogNorm: p_value 0.0001
К сожалению, потратил уже много времени на выполнение работы, но подобрать распределение не получается. С чем это может быть связано?
Гистограмма:
https://imgur.com/a/VSUhafk

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 18:10 
Заслуженный участник
Аватара пользователя


30/01/09
7143
nshiki17 в сообщении #1664118 писал(а):
Наиболее близкими на мой взгляд это фишера, нормальное, логнормальное.

На хи-квадрат также похоже.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 18:24 
Аватара пользователя


22/11/22
708
nshiki17
Полностью задачу приведите, пожалуйста. Какое именно количество ходов. Это же все описывается.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 01:20 
Аватара пользователя


21/01/09
3928
Дивногорск
nshiki17 в сообщении #1664118 писал(а):
С чем это может быть связано?
Может быть это распределение дискретной величины?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 04:04 
Аватара пользователя


22/11/22
708
Конечно, оно дискретно. И потому непонятен выбор теста Колмогорова-Смирнова.
Повторюсь, хотелось бы видеть исходные данные, а еще лучше, постановку задачи полностью.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 06:16 
Заслуженный участник
Аватара пользователя


11/03/08
10029
Москва
В тесте Колмогорова-Смирнова нет поправки на число степеней свободы. Потому, что он предполагает точное знание распределения, а не подгонку распределением, с оцененными по выборке параметрами. То есть он либо для теоретических моделей, где параметры априори известны, либо особыми приёмами привели к "беспараметрическому" виду (критерий Саркади - но он исключительно для проверки нормальности). Так что либо банальный хи-квадрат, либо для начала графический анализ - строим вариационный ряд и график $F^{-1}(x_{(i)})$ от i, где $F^{-1}(x)$ - обратная к выбранной функции распределения, если распределение угадано - точки будут лежать на прямой (в середине, на краях разброс, но тяготея к прямой), если лежат на отчётливо изогнутой кривой - не оно.
Ну и надо бы проанализировать механизм генерации, а также возможное поведение функции (особенно в бесконечности; а если бесконечность в принципе недостижима, то, может, рассмотреть какие иные распределения, хотя бы бету), это может подсказать её вид.
Да, и дискретность тоже бы как-то учесть. Может, с самого начала брать дискретные распределения? А не пытаться целое число аппроксимировать непрерывной функцией?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 10:17 
Аватара пользователя


22/11/22
708
Евгений Машеров в сообщении #1664181 писал(а):
В тесте Колмогорова-Смирнова нет поправки на число степеней свободы.

Это полбеды. Другая половина, бОльшая, - он предназначен для абсолютно непрерывных распределений.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 14:13 
Заслуженный участник
Аватара пользователя


11/03/08
10029
Москва
Ну почему же? Есть модификация и для дискретной.
https://www.jstatsoft.org/article/view/v095i10

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 20:06 
Аватара пользователя


22/11/22
708
Евгений Машеров
Спасибо, доберусь - почитаю тщательно.
Насколько я вижу при беглом прочтении, результат интегрирован в пакет R. Это хорошо.

Но kstest в scipy в соответствии с документацией библиотеки - это проверка именно на соответствие с классическим КС-тестом, где распределения непрерывны. Там это оговаривается.

... А интересно, ТС будет ждать, пока мы тут придем к окончательному результату? :)

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 22:24 
Заслуженный участник
Аватара пользователя


11/03/08
10029
Москва
Судя по гистограмме, предложенные приближения не настолько плохи, чтобы уровень значимости был десять в минус сто второй. Возможно, ошибка в применении теста? Как параметры распределений подгонялись? Насколько я понимаю, в данной процедуре, если распределение задано названием, должны быть указаны его параметры. Как они были найдены?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение10.12.2024, 09:13 
Заслуженный участник
Аватара пользователя


11/03/08
10029
Москва
В общем, вопрос №0 - каковы цели ТС, "закрыть" лабораторную, разобраться в матстатистике, понять механизм генерации данных или ещё что-то, плавно перерастающий в вопрос №00 - а оно ему вообще надо?
А уж после этого стоит спрашивать, данные дискретны ли ("число ходов") или преобразованы к в принципе непрерывной величине ("число ходов за единицу времени"), есть ли какие предположения о механизме генерации их, есть ли ограничения на диапазон, присутствуют ли в измерениях грубые ошибки. И ждать от ТС ответа (хотя бы в форме - "я понял, о чём вы, но не знаю").

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 11 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Geen


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group