2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Непараметрическое сравнение функций распределения
Сообщение07.05.2013, 20:18 


23/12/08
245
Украина
Предыстория:
Я наблюдаю за действием, которое повторяется через какое-то время. Собственно задача, уметь сравнить два таких наблюдения.
При наблюдении получаем последовательность интервалом между действиями ( длинна последовательности меняется).
Построив гистограмму такой последовательности, стало видно что плотность распределения примерно одна и таже ( для наблюдений которые должны быть одинаковыми). Похоже на то, что можно сравнивать именно функции распределения.

Чтобы сравнить непараметрические(не стандартные) функции распределения вроде должны подходить Хи-квадрат критерий и Критерий согласия Колмогорова. Если бы у меня все было непрерывно, то было бы очень просто и понятно как их применять.

Но вот проблема в том что у меня то все данные дискретные, и вот тут то я и недоумеваю что делать.
Вот например при подсчете Хи-квадрат статистики.

Вот что я должен сделать, если у меня у одной функции распределения в интервале 0 наблюдений, а у второй одно?
$P_i^{H_0} = 0;  1/0 = \infty $. Данных довольно мало чтобы точно сказать что там будет. А заменять на какое-то малое число тоже как-то не очень хорошо.

А ведь применяют же это критерий для дискретных данных http://psystat.at.ua/publ/1-1-0-29. Но вот нулей у них нету в таблице.

Может кто-то растолковать, что делать с этим нулем в знаменателе? Или может посоветуете что другое?

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение08.05.2013, 17:47 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Довольно мало - это сколько?

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 12:06 


23/12/08
245
Украина
--mS-- в сообщении #721247 писал(а):
Довольно мало - это сколько?

порядка сотни точек.

Я всетаки попробовал приблизить неперерывным распределением. И получил очень нестабильные результаты.
От этого метода сравнения отказался.

Вместо этого я попробовал сравнивать с использованием самоорганизующихся карт Кохонена.
В принцыпе не так уже и плохо получилось. Если на глаз, то работает стабильно ( от запуска к запуску примерно одни и те же группы распределений выделяются).
Правда теперь у меня есть параметр настройки алгоритма( регулирует кучность полученых ), а его настраиваю исходя из необходимой точности для реальных данных.

В результате получилось намного сложнее, но зато можно его заставить работать ( хоть как-то)

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 12:46 


23/12/07
1763
А в чем там проблема с применением критериев (для проверки однородности выборки) типа Смирнова и омега-квадрат в дискретных случаях?

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 13:27 


23/12/08
245
Украина
_hum_ в сообщении #724145 писал(а):
А в чем там проблема с применением критериев (для проверки однородности выборки) типа Смирнова и омега-квадрат в дискретных случаях?


Честно говоря я попробовал лишь критерий Стюдента, а точнее посмотрел на результаты работы этой функции. И ответ мне не понравился. По этому критерию, почти все мои распределения были разные. Во всяком случае для дискретных ( не сглаженных) данных. А мне то нужно было групировать.

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 17:39 


23/12/07
1763
Nerazumovskiy, статистика Стьюдента, если не ошибаюсь, асимптотически непараметрическая (в терминологии Боровкова), а значит, в общем случае соответствующий критерий требует большого объема выборки. Статистика же Смирнова и омега-квадрат таким недостатком не обладают - они просто непараметрические (распределение не зависит от распределений сравниваемых выборок; по крайней мере для непрерывных случайных величин).

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 17:42 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Критерий хи-квадрат априори предназначен для работы с дискретным распределением, какие могут быть проблемы с ним? Разбейте на группы так, чтобы не было нулей, всё в Ваших руках. Порядка сотни точек - вполне достаточно для критерия хи-квадрат.

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 18:37 


23/12/07
1763
--mS--, но ведь критерий хи-квадрат тоже асимптотически непараметрический. А какие есть просто непараметрические критерии проверки однородности для дискретных выборок (и в которых бы асимптотическое распределение статистики всегда было бы различно для случая справедливости основной гипотезы и альтернативы, как в критерии Смирнова)?

 Профиль  
                  
 
 Re: Непараметрическое сравнение функций распределения
Сообщение15.05.2013, 21:56 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Вообще-то я отвечала ТС. Для его вопроса моей эрудиции в статистике хватает. А для Вас - извините, не статистик ни разу.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 9 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group