Хи-квадрат для распределения Лапласа

[Andrey_Kireew]

Александрович в сообщении #1413984 писал(а):

А с отсечением хвостов?

Если отбросить половину правого хвоста, думаю нуль гипотеза подтвердится, но я не пробовал, толку то от этого. Получится обычная подгонка под ответ. Ну а инверсия знаков - так вообще какое то шаманство ...

[Александрович]

Andrey_Kireew в сообщении #1413985 писал(а):

но я не пробовал, толку то от этого.

Убедитесь в однородности выборочного распределения.

Andrey_Kireew в сообщении #1413985 писал(а):

Ну а инверсия знаков - так вообще какое то шаманство ...

Это для проверки на симметричность.

[Andrey_Kireew]

Александрович в сообщении #1413986 писал(а):

Убедитесь в однородности выборочного распределения

есть там горбик на большом правом хвосте, так что скорее всего неоднородное, но немножко

[Евгений Машеров]

Andrey_Kireew в сообщении #1413964 писал(а):

Ну и гистограммы с наложенными графиками смотрю. Грубые ошибки я бы нашел уже давно.

Лично я по гистограмме отличить нормальное от Лапласа не взялся бы.

-- 07 сен 2019, 07:49 --

Andrey_Kireew в сообщении #1413964 писал(а):

Дело ещё в том, что эмпирическое распределение сил но асимметричное.

Тогда это не Лаплас. Может быть, играет ошибка в генерации, которая уже устранена? (С прибавлением единички в знаменателе).
Без прибавления логарифм отношения даёт разность двух экспоненциальных, симметричную по построению.

-- 07 сен 2019, 08:01 --

Andrey_Kireew в сообщении #1413851 писал(а):

Лично меня, ответы данные по соображениям веры мало интересуют, так как появляются они обычно лишь по одной причине.

Извините, но ссылка на "веру в меня" не означает, что меня числят пророком и Источником Откровений Статистики, а лишь то, что, зная, что я достаточно много занимался статобработкой в разных прикладных областях, признают достоверными мои "свидетельские показания" о том, как на практике считают, и какие отклонения от точной процедуры прощаются, а какие недопустимы.

-- 07 сен 2019, 08:41 --

Теперь по конкретному предложению и статье в его обоснование. Там доказывается, что распределение будет асимптотически $\chi^2$.
Асимптотика это великолепно, это возвышает душу, как и всякое созерцание Бесконечности. Но для практики хорошо бы, помимо асимптотических свойств, знать, каково поведение на конечных (и даже малых) выборках. И вот думается, что тут-то разница и вылезет.
"Основное слагаемое" $\frac {(m_i-Np_i)^2}{Np_i}$ в обычном хи-квадрате имеет случайность лишь в числителе, $m_i$,
При "равнонаполненности" этот источник случайности исчезает, $m_i= \operatorname{const}$, зато появляется два, в числителе и знаменателе. Случайным становится $p_i$, ввиду случайности границ интервалов (а кроме случайности per se, имеет место ещё и условность соглашения о проведении границ). А случайность в знаменателе это больно. Особенно если знаменатель мал. В виде аналогии - стьюдентизированные величины имеют распределение, сильно ненормальное (аналогия была бы точной, если бы можно было бы доказать независимость случайных величин в числителе и знаменателе, но это свыше моих сил). И опять же - асимптотически Стьюдент стремится к нормальному, но у нас-то малое число степеней свободы.
То есть предложение возникает естественно, и развивать его можно по-всякому. Можно как тему для студенческого семинара или доклада на кружке. Можно статью написать, но так как для конечных выборок интегралы "вида ужасного", то удобный результат лишь асимптотически. Можно численно исследовать, опять же на курсовой "на отлично" или даже диплом (на кандидатскую, боюсь, придётся "вненаучный ресурс" задействовать).
Но напрямую применить в надежде "улучшить" не получится.
Да, и почему объединение ячеек это "допустимая халтура", а равнонаполненность "недопустимая".
Во-первых, объединяется лишь малая часть ячеек, а тут случайны все.
Во-вторых, объединяются, как правило, ячейка с достаточно большим числом попаданий с ячейкой с малым, так что вклад случайности границы "большой" и "малой" ячеек невелик. В Вашем же предложении случайны границы наполненных ячеек.
В третьих, объединение портит распределение, но по сравнению с устранением отклонения распределения биномиального распределения с малым числом наблюдений от нормального это "допустимая погрешность"
Впрочем, это может быть интересная тема для численных экспериментов - действительно ли будет улучшение или, как пророчат скептики, включая меня, "никакой пользы, окромя вреда".

[Евгений Машеров]

Да, и на всякий случай...
Формула должна быть $l_i=\ln\frac {r_{2i}}{r_{2i+1}}$, а не $l_i=\ln\frac {r_i}{r_{i+1}}$, а то автокоррелированность будет чудовищная...

[Andrey_Kireew]

Евгений Машеров в сообщении #1413991 писал(а):

Извините, но ссылка на "веру в меня" не означает, что меня числят пророком и Источником Откровений Статистики

это означает отсутствие собственных аргументов, а кем вы там сами себя считаете, это ваши личные проблемы

И не нужно пытаться опровергнуть логически обоснованные факты, это выглядит просто смешно. Меня тут справедливо критикуют, за то, что привожу недостаточно формул, но то что пишите вы - это просто голословные утверждения. Что это за аргумент?

Евгений Машеров в сообщении #1413991 писал(а):

случайность в знаменателе это больно

То вам асимптотика не подходит ..., а само приближение биномиального распределения нормальным, на котором вы основываете свои рассуждения, что не асимптотическое? Или это "допустимо". То вы с какого то "боку" распределение Стьюдента пытаетесь сюда притянуть, в надежде найти какие то аналогии.
Это всё рассуждения на уровне догадок и эмоций. Где нибудь, в статистическом кружке, как вы справедливо заметили, и который вы возможно даже ведёте, они возможно были бы и уместны. Не буду говорить за всех, но лично мне вся эта самодеятельность совсем не интересна.
Вот с этого момента нужно было и начинать

Евгений Машеров в сообщении #1413991 писал(а):

аналогия была бы точной, если бы можно было бы доказать независимость случайных величин в числителе и знаменателе, но это свыше моих сил

P.S: меня всегда поражала способность некоторых отстаивать свою точку зрения несмотря ни на что, порой, даже вопреки здравому смыслу

[Евгений Машеров]

Извините, но Вам очень осторожно пытаются намекнуть, что Ваш уровень владения проблемой не вполне адекватен Вашим амбициям. И сие подтверждается, например, тем, что Вас не смущает различие в результатах на порядок (три сотых против трёх тысячных), бросающееся в глаза всякому, хоть немного с этим работавшему. И когда коллективная (включая и мою скромную) помощь позволяет найти некоторые Ваши ошибки, Вы воспринимаете это не как свидетельство того, что могут быть и ещё ошибки, и сенсационные результаты это исключительно продукт этих ошибок, а как "наезд" на Ваше величие.
Ещё раз. Идея "разбивать поровну" предлагалась уже где-то с век. Всякий раз отвергаясь по соображениям и практическим, и теоретическим. Наконец, было выработано условие, при котором такого подхода результат будет сколько-нибудь осмыслен, увы, оно подразумевает практически недостижимый объём, а при таком объёме проблема, с которой должно бороться Ваше предложение, вполне решается стандартным подходом.
Если Вы дополнительно ознакомитесь с материалом, у Вас, возможно, и появятся идеи, одновременно новые и полезные. Но то, что Вы покамест получили, либо не ново, либо не верно. Скажем, предпочтительность при оценке параметров распределения Лапласа среднего перед медианой, как выяснилось, продукт ошибки в Вашей программе. Смею предположить, что и нетривиальные результаты применительно к расчёту критерия хи-квадрат кроются в той же причине.
Причины, по которым предлагаемый Вами "равносоставленный" подход будет хуже традиционного, и даже хуже традиционного с практическими упрощениями, я назвал. Если Вы сможете, аналитически ли, или численным экспериментом, опровернуть моё заявление, выслушаю с интересом и благодарностью. Но, не обессудьте, буду проверять, поскольку не Станиславский и не Ярославский - но не верю. Особенно ввиду проявленных Вами проколов в программе моделирования.

[Andrey_Kireew]

Евгений Машеров в сообщении #1414026 писал(а):

Вам очень осторожно пытаются намекнуть, что Ваш уровень владения проблемой не вполне адекватен Вашим амбициям

На счёт этого не волнуйтесь, я заметил, и принял к сведению. Жаль вас разочаровывать, но вопросы оценки моего уровня владения статистикой находятся вне сферы вашей компетенции, для этого у вас просто недостаточно образования (уж извините, пришлось поинтересоваться). Так, что для меня, в отличие от некоторых, вы не являетесь авторитетом в этой области, и ваши голословные утверждения на веру принимать я не могу.
Всё это, разумеется, не относится к конструктивным замечаниям. Указания на ошибки я воспринимаю именно как полезную помощь, а не как не "наезд". К этому как раз я отношусь просто, в конце концов не ошибается лишь тот, кто ничего не делает. Видимо чужие ошибки повышают у вас чувство собственной значимости, и в этом вы не одиноки. Ещё советую проверить мои орфографию и пунктуацию, знаете сколько радости это может принести.

Евгений Машеров в сообщении #1414026 писал(а):

Ещё раз

Да хоть десятый раз. Подтвердите свои утверждение формулами, ссылками на авторитетные источники и т.д. Без этого они ничего не стоят.
Где сказано, что равнонаполненная группировка непригодна, или намного хуже равноинтервальной? Кто так считает кроме вас?
Пока, что все представленные аргументы свидетельствуют совсем об обратном.

PS: Ваша логика понятна и проста "я тут самый умный, а остальные ... ". Создаётся впечатление, что вы сейчас вкривь и вкось пытаетесь доказать именно этот свой тезис, а не обосновать мифические недостатки равнонаполненной группировки. Отсюда и все разговоры о амбициях, величии и наездах на уязвлённое самолюбие.

[Pphantom]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Пургаторий (М)»
Причина переноса: ну что ж, тогда переносим тему сюда. Если у ЗУ будет желание что-нибудь написать - напишут.

-- 07.09.2019, 18:37 --

Pphantom в сообщении #1315537 писал(а):

По-видимому, предположение, что человек, пытающийся отвечать на заданный вопрос, пытается помочь спрашивающему, является слишком сложным. Andrey_Kireew, предупреждение за хамство.

И, соответственно, еще одно предупреждение за то же самое.

[Евгений Машеров]

Продолжая проверку. Помимо оценки точности оценивания параметра положения, оценил и точность оценивания параметра масштаба через среднеквадратичное отклонение от среднего и среднее абсолютное отклонение от медианы. Так же был получен результат, противоположный наблюдениям уважаемого Andrey_Kireew
А именно среднеквадратичное отклонение оценок этого параметра равно для оценки через медиану и САО 0.0316, а для оценки через стандартное отклонение 0.0353.
Смею предположить, что иной вывод у уважаемого Andrey_Kireew был, как и его вывод относительно оценивания параметра положения, основан на ошибке в программе моделирования.
Использовано 100000 реализаций вектора с распределением Лапласа и параметрами (0,1) длиной 1001.

[Евгений Машеров]

Проверяя предположение уважаемого Andrey_Kireew, что можно улучшить критерий $\chi^2$ переходом от равновероятных ячеек к равнонаполненным, предпринял статистический эксперимент.
Ограничившись равномерным распределением (при любом другом известном распределении F можно попросту преобразовать $r=F(x)$) на интервале (0,1), генерировались равномерно распределённые случайные числа, распределявшиеся по 10 ячейкам в соответствии со значениями, и вычислялась статистика $\chi^2$. На той же выборке вычислялась предложенная Andrey_Kireew, насколько я понял его предложение, а именно отсортированные значения разбивались на группы по 10, в качестве границ групп бралась середина между крайними значениями в группах (за начало первой группы принимался 0, за конец последней 1; поскольку на практике может быть это неизвестно, моделирование было повторено для начала первой группы в первом наблюдении и конца последней в последнем), из ширины группы определялась теоретическая вероятность, и рассчитывался критерий по той же формуле, что и обыкновенный $\chi^2$. Было выполнено 100000 реализаций, рассчитаны среднее, асимметрия и эксцесс распределений каждого критерия, а также число превышений критического значения на 1% и 5% уровне для 9 степеней свободы.
Теоретические значения:
среднее=9, асимметрия=0.9428, эксцесс=1.3333, число превышений 1% уровня 1000, 5% уровня 5000.
Полученные для обычного $\chi^2$:
среднее=8.9870 , асимметрия=0.9833 , эксцесс=1.5872, число превышений 1% уровня 995, 5% уровня 4886.
Полученные для предложенного уважаемым Andrey_Kireew "равносоставленного":
среднее=10.3071 , асимметрия=1.2166 , эксцесс=2.5583, число превышений 1% уровня 3559, 5% уровня 10694.
При замене 0 и 1 для крайних групп соответственно минимумом и максимумом по выборке получено:
среднее=10.7451 , асимметрия=1.2602 , эксцесс=2.8243, число превышений 1% уровня 4434, 5% уровня 12553.
То есть результат ещё более ухудшается.
Предложенное усовершенствование, дающее увеличения числа ложных отвержений в 3-4 выше на 1% и в 2-2.5 раза на 5% уровне, не представляется практически полезным, и именно этим я бы объяснил тот факт, что, переоткрываясь раз за разом в течение уже более века, оно не нашло практического применения.
Не имея возможности полностью исследовать распределение предложенной уважаемым Andrey_Kireew статистики, ограничусь лишь замечанием, что имеющееся различие нельзя объяснить тем, что эта величина имеет распределение $\chi^2$, лишь с иным числом степеней свободы.
Величина $\chi^2$ с 10.3071 степенями свободы имела бы асимметрию 0.88, а не 1.22, и эксцесс 1.16, а не 2.55, а с 10.7451 степенями свободы асимметрия была бы 0.86, а не 1.26 и эксцесс 1.12, а не 2.82.
Иначе говоря, распределение предложенной статистики заведомо отлично от $\chi^2$. Что не противоречит доказанной асимптотической сходимости к нему, а лишь то, что сходимость эта наступает, повидимому, далеко за пределами практически применимых числа как ячеек, так и наблюдений. Причина отклонения распределения мною была предположена - появление случайных величин, помимо числителя, и в знаменателях - но, разумеется, для более основательных выводов нужно более основательное исследование.

[Pphantom]

По просьбе Евгений Машеров тема возвращена обратно.

[Andrey_Kireew]

Евгений Машеров в сообщении #1414188 писал(а):

А именно среднеквадратичное отклонение оценок этого параметра равно для оценки через медиану и САО 0.0316, а для оценки через стандартное отклонение 0.0353.
Смею предположить, что иной вывод у уважаемого Andrey_Kireew был, как и его вывод относительно оценивания параметра положения, основан на ошибке в программе моделирования

Всё правильно, кстати я об этом написал, как только устранил ошибку, ещё пару дней назад:

Andrey_Kireew в сообщении #1413932 писал(а):

Нашел в чём дело, там где вычисляется sa(ii) нужно делить не на 100000 а на 1000, перепутал по ошибке объём выборки с числом реплик.
Теперь дисперсия $\alpha$ вычисленного посредством Mad стала меньше, чем с использованием Std. Дисперсия самого Mad так же осталась меньше, чем дисперсия Std, и различия уже не такие большие. В общем, теперь всё согласуется

значения правда не привёл, но помню было что то похожее на результаты Евгений Машеров

Евгений Машеров в сообщении #1414196 писал(а):

Проверяя предположение уважаемого Andrey_Kireew, что можно улучшить критерий $\chi^2$ переходом от равновероятных ячеек к равнонаполненным

На всякий случай уточню, что это не моя гипотеза. Я никогда не заявлял, что равнонаполненная группировка улучшит тест Хи - квадрат. Я лишь задал вопрос, чем равноинтервальная группировка лучше равнонаполненной. И усомнился в справедливости ответа, что равнонаполненная группировка недопустима, это грубая ошибка, все выводы, полученные с её помощью будет в корне не верны и т.п.

Сначала на этом настаивал --mS--, но исчерпав все аргументы рациональные самоустранился, что в данной ситуации вполне разумно. Потом эту позицию стал упорно отстаивать Евгений Машеров, сначала категорично, потом немного смягчив свои заявления. Теперь же он заявляет, что я предложил какое то усовершенствование Хи - квадрат. Но это совсем не так, я лишь рассматривал её как возможную альтернативу со своими достоинствами и недостатками. И до сих пор я не вижу веских аргументов, почему её применять категорически нельзя. С теоретической точки зрения это вполне допустимо, учитывая, что сам критерий Хи квадрат асимптотический, с этим теперь не спорит и Евгений Машеров. Насколько быстро сходится вся эта асимптотика, действительно, можно посмотреть на численном эксперименте. Сейчас попробую повторить представленный выше эксперимент. По результатам отпишусь

[Евгений Машеров]

Andrey_Kireew в сообщении #1413729 писал(а):

И тем не менее, мой вопрос остался без ответа. Что мешает использовать Хи квадрат при равнонаполненной группировке?
Кстати, проблема нулевых/очень малых частот в этом случае решается сама собой. Ну, а объединение соседних ячеек - это ни что иное, как переход к неравномерным интервалам.

Andrey_Kireew в сообщении #1413690 писал(а):

т.е. Вы намекаете, что Хи-квадрат к равно наполненной гистограмме вообще непригодна?
где вообще такое сказано, что границы интервалов не должны зависеть от распределения? ведь их положение до определённой степени произвольно и при равно интервальной группировке

Andrey_Kireew в сообщении #1413851 писал(а):

Оптимально делать равновероятную группировку по теоретическому распределению. Но, так как его параметры неизвестны, можно использовать равно наполненные интервалы. При справедливости нуль-гипотезы, такая группировка будет очень близка к оптимальной. К тому же почти полностью устраняется проблема нулевых частот. Так, что если уж при использовании равноинтервальной гистограммы статистика подчиняется распределению Хи квадрат, значит и в случае равнонаполненной будет то же самое.

Чувствительность критерия при этом будет максимальная, хотя мощность, возможно и пострадает. Но это решаемо. После определения Хи квадрат оптимальных параметров, можно перестроить гистограмму с их учётом. Это позволит существенно уменьшить ошибки второго рода. Можно сделать несколько итераций. В итоге гистограмма получится и не равнонаполненная, и не равноинтервальная. Зато оценки будут наилучшими.

Andrey_Kireew в сообщении #1413890 писал(а):

Если количество интервалов будет небольшим, то эта погрешность окажется несущественной.

Это изложение Вашей позиции. Из этих и прочих Ваших слов я понял, что Вы не считаете распределение статистики при равнонаполненных интервалах отличным от $\chi^2$ и, более того, полагаете не только вправе пользоваться критическими значениями для этого распределения, но и рекомендуете данных способ, как оптимальный.
Соображения, по которым это не так, высказала уважаемая --mS-- здесь и в иных местах дискуссии.

--mS-- в сообщении #1413736 писал(а):

Границы интервалов не должны зависеть от выборки, а не от распределения. Где это сказано? В любой теореме про предельное поведение статистики любого критерия хи-квадрат. Хоть теореме Пирсона, хоть теореме Фишера: в условиях каждой из них интервалы группировки заранее фиксированы, а вся случайность из выборки сидит в частотах $\nu_j$, а также (для параметрической гипотезы) в подходящих оценках неизвестных параметров. Если границы интервалов начинают зависеть от выборки, утверждения этих теорем перестают быть верными.

--mS-- в сообщении #1413897 писал(а):

Факт о предельном поведении статистики критерия хи-квадрат верен при неких условиях, которые в Вашей схеме нарушаются. Вам и обосновывать.

--mS-- в сообщении #1413688 писал(а):

Оценивать сначала параметры а потом брать по оцененному распределению интервалы - значит получить интервалы со случайными концами и предельное распределение статистики хи-квадрат вообще непонятно какое. То же самое, если брать интервалы с одинаковым числом элементов выборки в каждом: границы интервалов начинают зависеть от выборки и предельное распределение статистики критерия хи-квадрат портится непредсказуемо.

Однако Вы изволили пропустить мимо ушей соображения человека, заведомо больше разбирающегося в ТВиМС (я, разумеется, не о себе), а на попытки указать Вам на возможные (а, как потом выяснилось, действительные) источники Ваших ошибок реагировали так, что мне захотелось сменить свой ник на тот, которым иногда пользуюсь в других Форумах. Но вместо этого я предпочёл "достать и померять", в смысле провести численный эксперимент (см. выше), из которого следовало:
0. Применение критерия хи-квадрат традиционного вида даёт правильный результат (1% ложноположительных на 1% уровне значимости, 5% на 5% уровне).
1. Применение Вашей идеи приводит к грубым ошибкам, при 1% уровне значимости отвергается 3.5%-4.5% реализаций, при том, что генерировались данные именно в соответствии с заданным распределением.
2. Поправить дело, используя критические значения данного критерия для иного числа степеней свободы, невозможно. Поскольку третий и четвёртый моменты имеют значения, существенно отличные от определяемых числом степеней свободы, оцениваемым по среднему значению. Иначе говоря, какое там распределение, в точности не назову, но точно не $\chi^2$
Не смею надеяться, что я сколь-нибудь повлияю на Ваше поведение и Ваши манеры, но, по крайности, предупрежу многих, что данной Вашей идеей пользоваться точно не стоит, да и все прочие надобно принимать cum grano salis.



И ещё:

Andrey_Kireew в сообщении #1414219 писал(а):

Всё правильно, кстати я об этом написал, как только устранил ошибку, ещё пару дней назад:
Andrey_Kireew в сообщении #1413932

писал(а):
Нашел в чём дело, там где вычисляется sa(ii) нужно делить не на 100000 а на 1000, перепутал по ошибке объём выборки с числом реплик.
Теперь дисперсия $\alpha$ вычисленного посредством Mad стала меньше, чем с использованием Std. Дисперсия самого Mad так же осталась меньше, чем дисперсия Std, и различия уже не такие большие. В общем, теперь всё согласуется
значения правда не привёл, но помню было что то похожее на результаты Евгений Машеров

Однако далее в данном (#1413932) сообщении Вы пишете:

Andrey_Kireew в сообщении #1413932 писал(а):

Но с реальными данными проблема никуда не делась. Определение $\alpha$ через Std выборки даёт лучшее соглассование данных с теоретическим законом, чем при использовании Mad.

То есть уже после исправления ошибки Вы по-прежнему полагаете более точными значения параметра распределения Лапласа, оцененные по std. На что я Вам и указываю выше. Если Вы и пришли к выводу, что прежние Ваши тезисы о превосходстве в точности среднеквадратичной оценки над САО были ложны, здесь Вы об этом упомянуть не изволили.

[Александрович]

Евгений Машеров в сообщении #1414001 писал(а):

Да, и на всякий случай...
Формула должна быть $l_i=\ln\frac {r_{2i}}{r_{2i+1}}$, а не $l_i=\ln\frac {r_i}{r_{i+1}}$, а то автокоррелированность будет чудовищная...

Ну и что? Это как-то проявится в интервальном или в ранжированном вариационном ряду?

-- Пн сен 09, 2019 19:29:55 --

Andrey_Kireew в сообщении #1413987 писал(а):

есть там горбик на большом правом хвосте, так что скорее всего неоднородное, но немножко

Это как немножко беременна. Гипотезу проверяли?