2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 16:21 


07/12/24
1
Добрый день, можете пожалуйста посоветовать.
Делаю лабораторную работу по матстату и к сожалению сталкиваюсь с неожиданными результатами.
Задание было таким: Предположите, какому вероятностному закону подчиняется распределение количества ходов. С помощью статистического теста подтвердите или опровергните это предположение.
Задание решал при помощи scipy в python.
1. По гистограмме сделал предположение о виде распределения
2. При помощи kstest попытался проверить.
Наиболее близкими на мой взгляд это фишера, нормальное, логнормальное.
Результаты kstest:
Fisher: p_value 1.3e-07
Norm: p_value 3.83e-102
LogNorm: p_value 0.0001
К сожалению, потратил уже много времени на выполнение работы, но подобрать распределение не получается. С чем это может быть связано?
Гистограмма:
https://imgur.com/a/VSUhafk

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 18:10 
Заслуженный участник
Аватара пользователя


30/01/09
7143
nshiki17 в сообщении #1664118 писал(а):
Наиболее близкими на мой взгляд это фишера, нормальное, логнормальное.

На хи-квадрат также похоже.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение08.12.2024, 18:24 
Аватара пользователя


22/11/22
699
nshiki17
Полностью задачу приведите, пожалуйста. Какое именно количество ходов. Это же все описывается.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 01:20 
Аватара пользователя


21/01/09
3928
Дивногорск
nshiki17 в сообщении #1664118 писал(а):
С чем это может быть связано?
Может быть это распределение дискретной величины?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 04:04 
Аватара пользователя


22/11/22
699
Конечно, оно дискретно. И потому непонятен выбор теста Колмогорова-Смирнова.
Повторюсь, хотелось бы видеть исходные данные, а еще лучше, постановку задачи полностью.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 06:16 
Заслуженный участник
Аватара пользователя


11/03/08
10024
Москва
В тесте Колмогорова-Смирнова нет поправки на число степеней свободы. Потому, что он предполагает точное знание распределения, а не подгонку распределением, с оцененными по выборке параметрами. То есть он либо для теоретических моделей, где параметры априори известны, либо особыми приёмами привели к "беспараметрическому" виду (критерий Саркади - но он исключительно для проверки нормальности). Так что либо банальный хи-квадрат, либо для начала графический анализ - строим вариационный ряд и график $F^{-1}(x_{(i)})$ от i, где $F^{-1}(x)$ - обратная к выбранной функции распределения, если распределение угадано - точки будут лежать на прямой (в середине, на краях разброс, но тяготея к прямой), если лежат на отчётливо изогнутой кривой - не оно.
Ну и надо бы проанализировать механизм генерации, а также возможное поведение функции (особенно в бесконечности; а если бесконечность в принципе недостижима, то, может, рассмотреть какие иные распределения, хотя бы бету), это может подсказать её вид.
Да, и дискретность тоже бы как-то учесть. Может, с самого начала брать дискретные распределения? А не пытаться целое число аппроксимировать непрерывной функцией?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 10:17 
Аватара пользователя


22/11/22
699
Евгений Машеров в сообщении #1664181 писал(а):
В тесте Колмогорова-Смирнова нет поправки на число степеней свободы.

Это полбеды. Другая половина, бОльшая, - он предназначен для абсолютно непрерывных распределений.

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 14:13 
Заслуженный участник
Аватара пользователя


11/03/08
10024
Москва
Ну почему же? Есть модификация и для дискретной.
https://www.jstatsoft.org/article/view/v095i10

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 20:06 
Аватара пользователя


22/11/22
699
Евгений Машеров
Спасибо, доберусь - почитаю тщательно.
Насколько я вижу при беглом прочтении, результат интегрирован в пакет R. Это хорошо.

Но kstest в scipy в соответствии с документацией библиотеки - это проверка именно на соответствие с классическим КС-тестом, где распределения непрерывны. Там это оговаривается.

... А интересно, ТС будет ждать, пока мы тут придем к окончательному результату? :)

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение09.12.2024, 22:24 
Заслуженный участник
Аватара пользователя


11/03/08
10024
Москва
Судя по гистограмме, предложенные приближения не настолько плохи, чтобы уровень значимости был десять в минус сто второй. Возможно, ошибка в применении теста? Как параметры распределений подгонялись? Насколько я понимаю, в данной процедуре, если распределение задано названием, должны быть указаны его параметры. Как они были найдены?

 Профиль  
                  
 
 Re: Мат. статистика. Гипотезы о виде распределении
Сообщение10.12.2024, 09:13 
Заслуженный участник
Аватара пользователя


11/03/08
10024
Москва
В общем, вопрос №0 - каковы цели ТС, "закрыть" лабораторную, разобраться в матстатистике, понять механизм генерации данных или ещё что-то, плавно перерастающий в вопрос №00 - а оно ему вообще надо?
А уж после этого стоит спрашивать, данные дискретны ли ("число ходов") или преобразованы к в принципе непрерывной величине ("число ходов за единицу времени"), есть ли какие предположения о механизме генерации их, есть ли ограничения на диапазон, присутствуют ли в измерениях грубые ошибки. И ждать от ТС ответа (хотя бы в форме - "я понял, о чём вы, но не знаю").

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 11 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group