2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Непараметрическое сравнение функций распределения
Сообщение07.05.2013, 20:18 
Предыстория:
Я наблюдаю за действием, которое повторяется через какое-то время. Собственно задача, уметь сравнить два таких наблюдения.
При наблюдении получаем последовательность интервалом между действиями ( длинна последовательности меняется).
Построив гистограмму такой последовательности, стало видно что плотность распределения примерно одна и таже ( для наблюдений которые должны быть одинаковыми). Похоже на то, что можно сравнивать именно функции распределения.

Чтобы сравнить непараметрические(не стандартные) функции распределения вроде должны подходить Хи-квадрат критерий и Критерий согласия Колмогорова. Если бы у меня все было непрерывно, то было бы очень просто и понятно как их применять.

Но вот проблема в том что у меня то все данные дискретные, и вот тут то я и недоумеваю что делать.
Вот например при подсчете Хи-квадрат статистики.

Вот что я должен сделать, если у меня у одной функции распределения в интервале 0 наблюдений, а у второй одно?
$P_i^{H_0} = 0;  1/0 = \infty $. Данных довольно мало чтобы точно сказать что там будет. А заменять на какое-то малое число тоже как-то не очень хорошо.

А ведь применяют же это критерий для дискретных данных http://psystat.at.ua/publ/1-1-0-29. Но вот нулей у них нету в таблице.

Может кто-то растолковать, что делать с этим нулем в знаменателе? Или может посоветуете что другое?

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение08.05.2013, 17:47 
Аватара пользователя
Довольно мало - это сколько?

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 12:06 
--mS-- в сообщении #721247 писал(а):
Довольно мало - это сколько?

порядка сотни точек.

Я всетаки попробовал приблизить неперерывным распределением. И получил очень нестабильные результаты.
От этого метода сравнения отказался.

Вместо этого я попробовал сравнивать с использованием самоорганизующихся карт Кохонена.
В принцыпе не так уже и плохо получилось. Если на глаз, то работает стабильно ( от запуска к запуску примерно одни и те же группы распределений выделяются).
Правда теперь у меня есть параметр настройки алгоритма( регулирует кучность полученых ), а его настраиваю исходя из необходимой точности для реальных данных.

В результате получилось намного сложнее, но зато можно его заставить работать ( хоть как-то)

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 12:46 
А в чем там проблема с применением критериев (для проверки однородности выборки) типа Смирнова и омега-квадрат в дискретных случаях?

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 13:27 
_hum_ в сообщении #724145 писал(а):
А в чем там проблема с применением критериев (для проверки однородности выборки) типа Смирнова и омега-квадрат в дискретных случаях?


Честно говоря я попробовал лишь критерий Стюдента, а точнее посмотрел на результаты работы этой функции. И ответ мне не понравился. По этому критерию, почти все мои распределения были разные. Во всяком случае для дискретных ( не сглаженных) данных. А мне то нужно было групировать.

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 17:39 
Nerazumovskiy, статистика Стьюдента, если не ошибаюсь, асимптотически непараметрическая (в терминологии Боровкова), а значит, в общем случае соответствующий критерий требует большого объема выборки. Статистика же Смирнова и омега-квадрат таким недостатком не обладают - они просто непараметрические (распределение не зависит от распределений сравниваемых выборок; по крайней мере для непрерывных случайных величин).

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 17:42 
Аватара пользователя
Критерий хи-квадрат априори предназначен для работы с дискретным распределением, какие могут быть проблемы с ним? Разбейте на группы так, чтобы не было нулей, всё в Ваших руках. Порядка сотни точек - вполне достаточно для критерия хи-квадрат.

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 18:37 
--mS--, но ведь критерий хи-квадрат тоже асимптотически непараметрический. А какие есть просто непараметрические критерии проверки однородности для дискретных выборок (и в которых бы асимптотическое распределение статистики всегда было бы различно для случая справедливости основной гипотезы и альтернативы, как в критерии Смирнова)?

 
 
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 21:56 
Аватара пользователя
Вообще-то я отвечала ТС. Для его вопроса моей эрудиции в статистике хватает. А для Вас - извините, не статистик ни разу.

 
 
 [ Сообщений: 9 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group