Хи-квадрат для распределения Лапласа

[Евгений Машеров]

Александрович в сообщении #1414227 писал(а):

Ну и что? Это как-то проявится в интервальном или в ранжированном вариационном ряду?

Проявится при расчёте статистик. То есть фактически при объёме выборки N распределение может быть, как при выборке $N(1-\rho^2)$ и все критерии сыпятся.

[Andrey_Kireew]

Евгений Машеров в сообщении #1414220 писал(а):

Это изложение Вашей позиции. Из этих и прочих Ваших слов я понял, что Вы не считаете распределение статистики при равнонаполненных интервалах отличным от $\chi^2$ и, более того, полагаете не только вправе пользоваться критическими значениями для этого распределения, но и рекомендуете данных способ, как оптимальный

это Вы поняли неправильно, вопрос был о принциальной допустимости/ недопустимости её использования исходя из некоторых практических соображений, только и всего (в предыдущем сообщении я это конкретизировал)

Евгений Машеров в сообщении #1414220 писал(а):

Однако Вы изволили пропустить мимо ушей соображения человека, заведомо больше разбирающегося в ТВиМС

вернее не пропустить, а меня они просто не убедили, тем более будучи высказанными в такой категоричной форме
Если даже Пирсон исходил из предпосылок независимости границ интервалов при доказательстве своей теоремы, это говорит лишь о том, что при их выполнении, все сделанные выводы будут верны. Обратного утверждать нельзя, а именно его сделал (а) --mS--. Более того, уважаемый GAA любезно предоставил статью, со строгим доказательством, того что при определённых условиях нарушение предпосылки независимости интервалов не делает выводы ложными. Оба критерия асимптотически сходятся. А так как Хи квадрат сам по себе асимптотический, нет никаких оснований делать такие категоричные заявления.

-- 09.09.2019, 16:53 --

Евгений Машеров в сообщении #1414220 писал(а):

То есть уже после исправления ошибки Вы по-прежнему полагаете более точными значения параметра распределения Лапласа, оцененные по std. На что я Вам и указываю выше. Если Вы и пришли к выводу, что прежние Ваши тезисы о превосходстве в точности среднеквадратичной оценки над САО были ложны, здесь Вы об этом упомянуть не изволили

причём здесь исправленная ошибка? здесь речь о реальных данных, которые я анализирую, в них то нет такой ошибки и никогда не было (генератора СПЧ нет как такового, выборка только одна), на этих данных распределение Лапласа лучше подгоняется по Std чем с помощью Mad. Да H0 на них явно нарушена, но всё равно не очень сильно.

А по поводу эксперимента, я ещё не проверил. Есть у меня на этот счёт кое какие подозрения, по поводу того, почему у Вас так получилось, так что возможно будет контрпример

-- 09.09.2019, 17:00 --

Александрович в сообщении #1414227 писал(а):

Это как немножко беременна. Гипотезу проверяли?

Конечно, и она разумеется нарушена. Ну это ещё ладно, не так страшно, можно считать что распределение Лапласоподобное. Для меня главное сравнить 2 конкурирующие гипотезы. Вторая - на нормальность. Во втором случае Хи квадрат получается больше на несколько порядков, а тут всего в 1,5 - 2 раза. Понятно, что гипотеза нормальности отвергается категорически, а эта рассматривается лишь за неимением других альтернатив. Тем более, что там горбик есть, можно списать всё на выбросы.

[Евгений Машеров]

Ещё раз. Очень медленно. Критерий $\chi^2$, как и вообще статистические критерии, основан на том, что статистика критерия имеет известное распределение (хотя бы для нулевой гипотезы). И сравнивая вычисленные по выборке значения критерия с этим распределением, получаем вероятность того, что они могут появиться при справедливости нулевой гипотезы. Распределение выводится в определённых предположениях. Для данного критерия - что границы интервалов независимы от данных. Если мы отказываемся от этого предположения - распределение не обязано быть хи-квадрат. И если Вы желаете использовать именно критические значения хи-квадрат - бремя доказательства того, что у Вас, невзирая на нарушения предположений, всё же каким-то чудом хи-квадрат, лежит на Вас. Что оно не будет хи-квадрат для конечных выборок - показать легко. Что оно асимптотически стремится к хи-квадрат (а также и к нормальному) - показать можно, вопрос, насколько быстро, чтобы эта асимптотика имела практическое значение. До теоретической оценки вида точного распределения я, увы, не созрел, но могу посчитать для разных размеров выборки и сделать вывод, что при данной объёме её распределение слишком далеко от желаемого, чтобы критерий был для чего-то пригоден. Я, если Вы обратили внимание, посчитал не только высшие моменты, но и имитировал применение критерия, считая, сколько раз нулевая гипотеза отвергалась, быв истинной, при разных уровнях значимости.
Да, и САО всё же лучше для подгонки Лапласа, чем STD. Если у Вас иначе - советовал бы искать ошибку.

[Евгений Машеров]

Andrey_Kireew в сообщении #1414232 писал(а):

Конечно, и она разумеется нарушена

Ну, значит, у Вас и не Лаплас. Объём, насколько я понял, достаточно велик, чтобы не списать на "статистическую флуктуацию". Может быть, внимательнее посмотреть на генерацию чисел? Хотя бы выложить этот фрагмент скрипта на всеобщее обозрение. Авось увидим...
Да, и ненулевое среднее, и неединичный разброс - несущественны, можно без греха принять их (0,1), благо у нас линейность.

[Andrey_Kireew]

Стандартное нормальное распределение, объём выборки 10тыс., сделано 10 тыс. реплик на каждой из которых вычислялся критерий Хи квадрат.
Равнонаполненная группировка по 10 интервалам:

строгое соответствие проверялось по тому же самому Хи квадрат. Значение статистики 150 при критическом 36 (для $\alpha=0.01$). Да, строго говоря это не Хи квадрат.

А что же с равноинтервальной группировкой? Оказывается в этом случае появляются большие редкие выбросы и о проверке соответствия распределению Хи квадрат нечего даже и говорить. Возможно это из за малых частот, которые в этом случае могут появится. Пришлось удалить 10 выбросов, чтобы хоть визуально было на что то похоже

но даже в этом случае критическое значение статистики 327, т.е. в 2 раза больше чем при равнонаполненной группировке.

Такие вот дела ...

[Andrey_Kireew]

С 8-й попытки равноинтервальная получилась лучше равнонаполненной 133.5477 против 210.4205, но это с исключением 10 выбросов, иначе никак.
Вообще, разброс почему то большой получается, странно.

[Andrey_Kireew]

Выясняется, что не всё так просто. Увеличил объём выборки до 100 тыс, в надежде что распределения сойдутся к Хи квадрат

слева равнонаполненная $\chi^2=135.4$, справа равноинтервальная $\chi^2=40.5$
пробовал 3 раза, получается одинаково.

Получается, что равноинтервальная почти сошлась, а равнонополненная как была так и осталась.

[Andrey_Kireew]

В равнонаполненной группировке была ошибка, поэтому и не сходилось (был банально пропущен 1 интервал). После исправления результаты превзошли все мои ожидания. Выяснилось, что распределение статистики, хотяи с натяжкой ($\alpha=0.001$), но согласуется с законом Хи квадрат уже при 700 наблюдениях. При 900 наблюдениях нуль гипотеза принимается уже с высокой надёжностью ($\alpha=0.1$).
Вот как изменяется значение статистики с увеличением объёма выборки:

$$\begin{tabular}{|c|c|} \hline объём выборки & значение статистики\\ \hline 100 & 5599.3 \\ 200 & 363.0681 \\ 300 & 268.9578 \\ 500 & 78.6480 \\ 700 & 43.0183 (\alpha=0.001)\\ 900 & 27.1971 (\alpha=0.1)\\ \hline \end{tabular}$$

А вот как выглядит гистограмма для 900 наблюдений:

По равноинтервальной группировке нужно ещё раз перепроверить, возможно тоже есть ошибки, уж слишком получаются большие различия.
Но в любом случае, думаю, теперь никаких претензий к равнонаполненной группировке не осталось. Для её использования вполне достаточно 700-800 наблюдений - вполне реалистичные объёмы.

[Евгений Машеров]

Извините, а как при 100 наблюдениях Вы получили значение статистики 5599.3?
Можно посмотреть на программу? Полученное Вами значение решительно контринтуитивно.
И можно ли посчитать асимметрию, эксцесс (ну и среднее и дисперсию) для распределения Ваших критериев?
Для хи-квадрат должно быть среднее равно числу степеней свободы k, дисперсия удвоенному числу их 2k, асимметрия $\sqrt{\frac 8 k}$, эксцесс $\frac {12} k$

Да, и на всякий, если у Вас возникнет, в свою очередь, желание поискать ошибок в моём моделировании

x=zeros(1,1001);
Med=zeros(1,100000);
Ave=zeros(1,100000);
BAve=zeros(1,100000);
BMed=zeros(1,100000);
NerrMed=0;
NerrAve=0;
for j=1:100000
    for i=1:1001
        r=rand-0.5;
        l=log(1-2*abs(r));
        if r>0
            x(i)=l;
        else
            x(i)=-l;
        end
    end
    Med(j)=median(x);
    Ave(j)=mean(x);
    BAve(j)=std(x)/1.414-1;
    BMed(j)=0;
    for i=1:1001
        BMed(j)=BMed(j)+abs(x(i)-Med(j));
    end
    BMed(j)=BMed(j)/1001-1;
    if abs(Med(j))>0.030
        NerrMed=NerrMed+1;
    end
    if abs(Ave(j))>0.030
        NerrAve=NerrAve+1;
    end
end
DMed=std(Med)
DAve=std(Ave)
DBMed=std(BMed)
DBAve=std(BAve)
NerrMed
NerrAve

(это для проверки, чем лучше оценивать параметры Лапласа)

NChi2=zeros(100000,1);
NAK=zeros(100000,1);
Chi5p=0;
Chi1p=0;
AK5p=0;
AK1p=0;
for N=1:100000
table=zeros(10,1);
R=zeros(100,1);
for i=1:100
    r=rand;
    R(i)=r;
    i=ceil(r*10);
    table(i)=table(i)+1;
end
chi2=0;
for i=1:10
    chi2=chi2+(table(i)-10)^2/10;
end  
if chi2>16.929
    Chi5p=Chi5p+1;
end
if chi2>21.666
    Chi1p=Chi1p+1;
end
NChi2(N)=chi2;
R=sort(R);
Left=R(1);
AK=0;
for i=1:9
    Right=(R(10*i)+R(10*i+1))/2;
    p=Right-Left;
    AK=AK+(10-100*p)*(10-100*p)/(100*p*(1-p));
    Left=Right;
end    
Right=R(100);
p=Right-Left;
AK=AK+(10-100*p)*(10-100*p)/(100*p*(1-p));
if AK>16.929
    AK5p=AK5p+1;
end
if AK>21.666
    AK1p=AK1p+1;
end

NAK(N)=AK;
end
MChi=mean(NChi2)
AChi=skewness(NChi2)
EChi=kurtosis(NChi2)
MAK=mean(NAK)
AAK=skewness(NAK)
EAK=kurtosis(NAK)
Chi5p
Chi1p
AK5p
AK1p

Это для сравнения "равноинтервальных" и "равнонаполненных"

[Andrey_Kireew]

Для выборки объёмом 900 получаются вот такие значения:
Mean=9.1446, D=18.9909, Ex=4.3195-3=1.3195, As=0.9472,
всё в пределах нормы.
Что касается 100 наблюдений, то это большие значения появляются на правом хвосте, иногда даже и больше, до 20 тыс., а иногда не очень - несколько сотен. Там теоретические частоты уже очень маленькие и даже небольшие отклонения приводят к большим ошибкам.

С равноинтервальной пока ничего не выходит, единственное что понятно - объединять ячейки с разными частотами просто необходимо.

По поводу Вашего эксперимента, рискну предположить, что это из за выбора равномерного распределения. Для него равноинтервальная группировка мало чем отличается от равновероятной.

Вот мой код, в нём 10 интервалов, 10 тыс. реплик, и объём выборки ns (можно менять):

Используется синтаксис Matlab M

ns=700;
for ii=1:10000;
es=sort(randn(ns,1));
P(1)=normcdf(es(ns/10),0,1);
for j=2:9; P(j)=normcdf(es((j)*ns/10),0,1)-normcdf(es((j-1)*ns/10),0,1); end
P(10)=1-normcdf(es(ns-ns/10+1),0,1);
hi(ii)=sum(((ns/10-P*ns).^2)./(P*ns));   
end

h=histogram(hi,20);
cht=(chi2cdf(h.BinEdges(2:21),9)-chi2cdf(h.BinEdges(1:20),9))*(10000);
val=(h.BinEdges(1:20)+h.BinEdges(2:21))/2;
hold on; plot(val,cht,'red'); plot(val,cht,'o');
sum(((h.Values-cht).^2)./cht)
chi2inv(0.99,19)
 

[Andrey_Kireew]

Уважаемый Евгений Машеров, я конечно ничего такого сказать не хочу, но по поводу Вашего кода есть вопросы. Насколько я понял, Вы раскладываете числа по ячейкам с одинаковой вероятностью, а потом сравниваете это с теоретическими частотами и находите значение критерия. Как то это опять всё косвенно и сомнительно. Я взял на себя смелость написать другой код, по аналогии со своим предыдущим. Теоретические частоты в нём вычисляются вычисляются как произведения соответствующих разграниченных интердецильных интервалов на плотность равномерного распределения (в данном примере равна единице) и объём выборки. По крайней мере в реальных практических вычислениях действовать придётся именно так, а не иначе.
Результаты получились почти как и прежде, при достижении объёма выборки 900 распределение статистики становится неотличимо от Хи квадрат, видимо закон распределения здесь мало на что влияет.

Вот мой код, при желании можно запустить и проверить:

Используется синтаксис Matlab M

ns=900; 
for ii=1:10000;
es=sort(rand(ns,1));
x(1)=es(1);
for j=1:9;
x(j+1)=(es(j*ns/10)+es(j*ns/10+1))/2;
end
x(11)=es(end);
nt=diff(x)*ns;
hi(ii)=sum((ns/10-nt).*(ns/10-nt)./nt);
end

h=histogram(hi,20);
cht=(chi2cdf(h.BinEdges(2:21),9)-chi2cdf(h.BinEdges(1:20),9))*(10000);
val=(h.BinEdges(1:20)+h.BinEdges(2:21))/2;
hold on; plot(val,cht,'red'); plot(val,cht,'o');
sum(((h.Values-cht).^2)./cht)
chi2inv(0.99,19)
 

-- 10.09.2019, 23:00 --

В свете представленного теоретического обоснования и приведённых результатов моделирования, сам собой возникает вопрос о преимуществах равноинтервальной группировки. Проблем с ней, как выясняется намного больше, запрограммировать её труднее, да и алгоритм получается медленнее. Может этих преимуществ, кроме сугубо эстетических, и нет вовсе?

[Евгений Машеров]

Andrey_Kireew в сообщении #1414491 писал(а):

Насколько я понял, Вы раскладываете числа по ячейкам с одинаковой вероятностью, а потом сравниваете это с теоретическими частотами и находите значение критерия. Как то это опять всё косвенно и сомнительно.

Да. Именно так. Максимально приближенно к реальной процедуре анализа.

Andrey_Kireew в сообщении #1414491 писал(а):

о преимуществах равноинтервальной группировки. Проблем с ней, как выясняется намного больше, запрограммировать её труднее, да и алгоритм получается медленнее. Может этих преимуществ, кроме сугубо эстетических, и нет вовсе?

Проблем вообще не вижу, программа мне представляется проще, чем Ваша (разумеется, это субъективно), раскидывание по ячейкам линейная сложность, тогда как сортировка в лучшем случае $N\ln N$, а то и квадратична, так что и со скоростью не вижу преимуществ. Но, разумеется, вопрос в том, насколько можно верить результатам. Хи-квадрат - можно. А "равносоставленному"?
У нас появляется вместо одной случайной величины, числа попаданий в ячейку, другая, ширина интервала. И она оказывается в знаменателе. Полагая, что матожидание $\mu$ её в точности равно $\frac 1 n$, получаем, что отдельное слагаемое будет $\frac {N^2(1/n-\mu-\varepsilon)^2}{N(\mu+\varepsilon)}=\frac{N\varepsilon^2}{1/n+\varepsilon}$, где эпсилон - случайное отклонение ширины интервала от его матожидания. Разлагая в ряд геометрической прогрессии, видим, что у нас появляются члены с эпсилон в возрастающих степенях, и они делают распределение ненормальным, а сумму этих слагаемых - распределённой не $\chi^2$. Однако с ростом N дисперсия $\varepsilon$ падает, и распределение приближается к искомому. Надо признаться, что и для стандартного $\chi^2$-критерия сходимость наступает не сразу, а при достаточно большом числе наблюдений в ячейке (отмечу, что "честное объединение" это когда объединяются ячейки с малым числом ожидаемых попаданий, объединение с малым числом фактических это халтура, но иногда "допустимая", если иначе не выходит). И для сравнения критериев надо оценить,как меняются их свойства при росте выборки.
Для этого было проведено моделирование двух этих процедур при разном числе наблюдений в выборке, от 50 до 1000 с шагом 50 (ячеек 10 по-прежнему, так что в ячейке от 5 до 100 в среднем наблюдений). Рассчитывались (по 100000 реализаций) матожидание критерия, асимметрия и эксцесс, а также число отвержений на 1% и 5% уровня.







Синим - теоретическое значение, красным - обычный хи-квадрат, зелёным - "равносоставленный" (кроме второго графика, извините, лень переделывать... Там красным "равносоставленный", зелёным стандартный)
Сверху вниз - матожидания критериев, асимметрия, эксцесс, число ошибочных отвержений (из 100000 реализаций) на 5% и 1% уровнях.

Очевидно, предлагаемый критерий во всех случаях хуже, однако по мере увеличения объёма выборки постепенно приближается к характеристикам, достигаемым стандартным хи-квадрат уже при объёме выборки настолько малом, что "установленный минимум" достигает менее чем в половине ячеек. Даже при 100 наблюдениях в ячейке процент ложных срабатываний заметно выше, чем у обычного критерия. Можно ожидать, что сравняются они (вернее сказать, "новый" станет немногим хуже "старого") при тысячах или даже десятках тысяч наблюдений на ячейку, но если выборка столь велика - исследователь может пожелать разбить данные на ячейки дробнее, так что среднее число в ячейке вновь упадёт.

Таким образом, вывод "чистой теории" о том, что данное усовершенствование не работоспособно, подтверждается экспериментом.

[Andrey_Kireew]

Кажется прояснилось и по поводу равноинтервальной группировки. В численном эксперименте, вместо того, чтобы объединять интервалы с малыми частотами, я такие результаты просто отбрасывал. Может это не совсем корректно, но кое какая картина появилась. Первоначально отбрасывал результаты, имеющие теоретические частоты в ячейках меньше единицы (критерий Кокрена). Таких результатов оказывается около 15% от общего числа для выборки 1000 и 5% для выборки 10 тыс. Выяснилось, что это и есть самые большие выбросы. Распределение оставшихся значений значительно лучше согласуется с законом Хи квадрат чем исходные данные, но в сравнении с равнонаполненной группировкой, результаты получаются всё же хуже.
При отбрасывании всех результатов с теоретическими частотами менее 5 распределение статистики уже практически неотличимо от Хи квадрат и результаты становятся похожи на результаты равнонаполненной группировки. Но для выборки из 1000 наблюдений отбрасывать приходилось до 50% всех результатов.

Напрашивается следующий вывод: если в результате группировки значение теоретической частоты в одной из ячеек получается меньше 1, то результаты очень ненадёжны и практически не пригодны. При $N\geqslant 1$, результаты уже можно использовать, но они всё ещё весьма ненадёжны. При $N\geqslant 5$, результаты будут уже достаточно надёжными, а при $N\geqslant 10$ надёжность результатов будет высокой и увеличивать N выше этого значения нет никакого смысла. Впрочем, всё это соглассуется со стандартными рекомендациями.

Увеличить N можно по разному. Этого можно достичь уменьшением числа интервалов. Но во первых - это дополнительные затраты на перегруппировку, а во вторых - это ведёт к падению чувствительности критерия. Можно так же объединять ячейки с малыми частотами. Если таких ячеек мало, возможно это оптимальный путь.
Но в любом случае, тут всё зависит от особенностей выборки и её объёма. Трудно выбрать оптимальное число интервалов, гарантирующее N>5. Здесь приходится или смириться с заведомо малой чувствительностью и ограничиться небольшим числом интервалов, или многократно перестраивать гистограмму, до тех пор, пока N>5 будет выполнено.
Это касается нормального распределения. В случае равномерного закона, видимо, таких проблем практически не возникнет, так как все теоретические частоты в ячейках для него практически одинаковы. Ну а для распределений с большим эксцессом, в частности для лапласова закона, скорее всего, всё только усугубится.

Получается, что равноинтервальная группировка, с точки зрения критерия Хи квадрат, хуже равнонаполненной. По крайней мере это следует из результатов численного эксперимента.

[Евгений Машеров]

Andrey_Kireew в сообщении #1414574 писал(а):

Получается, что равноинтервальная группировка, с точки зрения критерия Хи квадрат, хуже равнонаполненной. По крайней мере это следует из результатов численного эксперимента.

Да? А у меня получилось "с точностью до наоборот". И я могу объяснить, почему именно так и должно было получиться.

[Andrey_Kireew]

Евгений Машеров, уточните, зачем в Вашей программе, в знаменателе *(1-p)

AK=AK+(10-100*p)*(10-100*p)/(100*p*(1-p));

-- 11.09.2019, 18:44 --

Евгений Машеров в сообщении #1414571 писал(а):

Таким образом, вывод "чистой теории" о том, что данное усовершенствование не работоспособно, подтверждается экспериментом

какой вывод чистой теории? насколько мне помнится, никто до сих пол этого положения теоретически так и не обосновал,
а вот обоснование обратного представлено, и его до сих пор так и не опроверг

что касается численного эксперимента, оно всё конечно интересно, но есть вопросы
согласитесь о соответствии распределению Хи квадрат лучше судить не на основании мометов, а по тому хе Хи квадрат, что я собственно и делаю
строго говоря, лучше было бы привести не множество графиков, характеризующих сходимость асимптотики, а один график зависимости статистики Хи квадрат от числа наблюдений. Я такого графика не строил но проводил несколько сравнений, и при равноинтервальной группировке критическое значение оказавается всегда превышенным. Скорее всего это из за малых частот, у Вас такого может и не быть, так как частоты, как я уже упоминал, у Вас все почти одинаковые.

-- 11.09.2019, 18:45 --

Вообще, надо и мне попробовать с равномерным законом, посмотрю что получится