2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1 ... 4, 5, 6, 7, 8
 
 Re: Хи-квадрат для распределения Лапласа
Сообщение11.09.2019, 18:55 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Andrey_Kireew в сообщении #1414577 писал(а):
AK=AK+(10-100*p)*(10-100*p)/(100*p*(1-p));


Прошу прощения, это случайно попал продукт экспериментов по усовершенствованию, в приведенных выше результатах расчётов в знаменателе везде стояло p.
Ну а о соответствии $\chi^2$ можно судить по моментам. Они для стандартного в точности соответствуют хи-квадрат, а у Вас отличаются, причём это отличие не объяснить тем, что тоже хи-квадрат, но с другим числом степеней свободы.
Что до использования равномерного - это случай, наиболее благоприятный Вашей модели. При неравномерных ячейках должна вырасти дисперсия интерквантильного расстояния.

 Профиль  
                  
 
 Re: Хи-квадрат для распределения Лапласа
Сообщение11.09.2019, 19:04 


07/10/15

2400
Евгений Машеров в сообщении #1414571 писал(а):
Проблем вообще не вижу, программа мне представляется проще, чем Ваша (разумеется, это субъективно), раскидывание по ячейкам линейная сложность, тогда как сортировка в лучшем случае $N\ln N$, а то и квадратична, так что и со скоростью не вижу преимуществ. Но, разумеется, вопрос в том, насколько можно верить результатам. Хи-квадрат - можно. А "равносоставленному"?

С этим согласен, в моей программе матлаб больше всего тормозит при подсчёте частот, а не при сортировке, этот участок можно существенно ускорить, и тогда, без сортировки, равноинтервальная получится конечно быстрее. Но я имел в виду совсем не то, а проблему малых частот, которая сильно усложняет алгоритм. Впрочем, об этом я уже писал.

-- 11.09.2019, 20:24 --

Евгений Машеров в сообщении #1414592 писал(а):
Что до использования равномерного - это случай, наиболее благоприятный Вашей модели

да что Вы такое говорите? А мне всегда казалось наоборот, равномерный закон - единственный случай, когда не проявляются главные недостатки равноинтервальной группировки. Именно по этому Вы его и выбрали. С другим законом, будь то нормальный, или тем более лапласов, Ваша программа не сможет продемонстрировать представленных результатов даже близко. И Вы об этом прекрасно знаете, так что не надо ссылаться на стремление создать оптимальные условия для равнонаполненной группировки.

 Профиль  
                  
 
 Re: Хи-квадрат для распределения Лапласа
Сообщение11.09.2019, 19:57 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Ну, посмотрите распределения квантилей.

 Профиль  
                  
 
 Re: Хи-квадрат для распределения Лапласа
Сообщение11.09.2019, 20:36 


07/10/15

2400
Вот, что у меня получилось для для равномерного закона (100000 симуляций):
Изображение
синяя это равнонаполненная, красная - равноинтервальная, чёрная линия - критический уровень 0.01.
В целом, динамика похожа на то что представили Вы.
Скажем так, начиная от 1700, этим можно начинать пользоваться, ну а менее 700, уже совершенно непригодно.

Если всё так как Вы пишите, почему бы не привести аналогичные результаты для нормального распределения, как у меня?

-- 11.09.2019, 22:25 --

Ну а вот, аналогично, с нормальным законом (число симуляций здесь только 10 тыс. поэтому колебания больше):
Изображение
синяя равнонаполненная, красная - равноинтервальная, чёрная - уровень значимости 0.01.

Как видите Евгений Машеров, с нормальным распределением ситуация немного изменилась, вернее сказать поменялась в корне. Хотелось бы особенно отметить, что все равноинтервальные группировки, не удовлетворяющие критерию Кокрена (N>1) были отброшены и не учитывались при оценке распределения статистики, а это примерно 15% всех наблюдений. Иначе не о каком соответствии Хи квадрат не приходится даже и говорить. И даже при этом, равноинтервальная группировка оказывается хуже.
А равнонаполненная, напротив, опровергая Ваше необоснованное утверждение

Евгений Машеров в сообщении #1414592 писал(а):
использования равномерного - это случай, наиболее благоприятный Вашей модели.

оказывается даже лучше, и чем при равномерном распределении, и лучше самой равноинтервальной группировки (впрочем, это полностью соглассуется с ранее представленными мной результатами).

Так, что равномерный закон это очень хорошо, но представляется, что здесь он притянут "уши", исключительно для того, чтобы хоть как то опорочить все неоспоримые достоинства равнонаполненной группировки.

 Профиль  
                  
 
 Re: Хи-квадрат для распределения Лапласа
Сообщение11.09.2019, 23:49 


07/10/15

2400
Уважаемые Евгений Машеров, обнаружена ошибка.
При равнонаполненной группировке Вы берёте нижнюю границу крайнего левого интервала равной значению минимального элемента
Код:
Left=R(1);

и верхнюю границу, равную значению максимального элемента элемента
Код:
Right=R(100);


У меня было так же, но это в корне не верно. В данном случае границы распределения есть его параметры, поэтому, при проверке простой гипотезы необходимо сделать так
Код:
Left=0;
........
Right=1;

Я попробовал, после 800 наблюдений оба графика практически сливаются.
Видимо, по этой причине с нормальным распределением получалось лучше.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 110 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group