Гипотеза об эрланговском распределении.

[T(h)rasher]

Доброго времени суток участникам форума. Мне необходимо проверить гипотезу об эрланговском распределении входного потока по критерию Пирсона.
Плотность эрланговского распределения, насколько мне известно, следующая: $f(x)=\lambda e^{-\lambda x} \frac{(\lambda x)^{k-1}}{(k-1)!}$. Параметры распределения $k$ и $\lambda$ я нашел, формулу самого критерия я знаю, но как проверить саму гипотезу, т.е. как все данные сложить воедино - не понимаю, хотя знаю как это делается для экспоненциального распределения по тому же критерию. Заранее спасибо за помощь.

[--mS--]

Что конкретно не получается?

[T(h)rasher]

Я не знаю как в моем случае находить вероятности $p_i$, которые потом будут использоваться для подсчета $\chi^2_{nabl}$.

[--mS--]

Другое дело. Проще всего численно: если границы интервалов уже заданы, то подставляете в плотность вместо параметров их оценки и считаете что-то вроде http://www.wolframalpha.com/input/?i=int_3%5E7+%282.7%5E6%2F120%29+x%5E5+exp%28-2.7x%29dx - это для примера, с $\lambda^*=2.7$ и $k^*=6$, вероятность попасть в участок от $3$ до $7$.

А если границы интервалов еще нужно подбирать, то начните с них: нарисуйте в вольфрам-альфа график плотности с найденными оценками параметров, разбейте на глазок область под графиком на части так, чтобы более-менее одинаковые вероятности приходились на каждый интервал (не так, что на один очень большая, а на другие - совсем ничего). Дальше ищите численно теоретические вероятности.

(Оффтоп)

Вообще-то по уму следует сначала разбить положительную полуось на интервалы, а уже потом искать оценки. По методу минимума хи-квадрат. А Вы, наверное, оценки метода моментов или максимального правдоподобия нашли? Если задача учебная, сойдёт. А если для жизни - не всегда так можно.

[T(h)rasher]

Кажется, я вас понял, спасибо за ссылку.
Я всегда разбивал на 10 интервалов следующим образом: $\frac {x_\max - x_\min} {10}$. У меня получается 10 интервалов с шагом 7,2. Далее я подставляю в формулу плотности найденные значения $k$ и $\lambda$, а вместо $x$ подставляю границы интервалов и для каждого $x$ получаю вероятность $p_i$? Соответственно, $\chi^2_{nabl}$ будет сумма этих значений вероятностей $p_i$?

Не совсем понял как ввести формулу плотности на сайте вольфрам-альфа..

[--mS--]

Вот эти вопросы уже не поняла. Как ввести плотность - по ссылке введена. Значение статистики критерия - это не сумма вероятностей, а сумма квадратов неких дробей, в любом учебнике есть.

[_hum_]

--mS--, а можно вопрос. Зачем в таком случае (когда параметры распределения берутся оценочные) вообще использовать Пирсона, а не, например, того же Колмогорова, у которого проблем с выбором интервалов и проч. нет?

[--mS--]

Критерий Колмогорова в принципе не умеет проверять сложную гипотезу.

[_hum_]

--mS-- в сообщении #710162 писал(а):

Критерий Колмогорова в принципе не умеет проверять сложную гипотезу.

Я имел в виду, как и делал автор, берем подставляем оценочные параметры - получаем простую - и вперед по Колмогорову. Чем это хуже того же подхода по Пирсону? Почему на него все так ведутся?

[--mS--]

Нет, когда мы подставляем параметры, простую гипотезу мы никак не получаем. Мы получаем случайную функцию распределения/плотность, зависящую в каждой точке от выборки. Распределение статистики критерия Колмогорова перестаёт сходиться к распределению Колмогорова. И критерий перестаёт быть непараметрическим (т.е. распределение статистики уже зависит от гипотетического распределения). У критерия же Пирсона предельное распределение статистики критерия при замене параметров подходящими оценками остаётся распределением хи-квадрат. Только с другим числом степеней свободы. Правда, оценки тут должны быть по методу минимума хи-квадрат.

Наверное, можно для разных семейств распределений, подставив оценки вместо параметров, отыскать предельное распределение статистики критерия Колмогорова и его затем использовать для проверки гипотез. Этим занимается критерий Лиллиефорса. Но не уверена, что такое возможно для любых гипотетических распределений, а не только для нормального или показательного, для которых его обычно используют.

-- Пн апр 15, 2013 00:38:47 --

Не говоря уж о том, что вопрос "почему Пирсон, а не Колмогоров" - он сам по себе не вполне правильный. Эти критерии реагируют на разные отклонения распределений друг от друга: один на функции распределения, другой на плотности. Нарисуйте кишку $F(x)\pm \varepsilon/\sqrt{n}$ вокруг гладкой функции распределения. Для любой эмпирической функции распределения, расположенной целиком в этой кишке, основная гипотеза будет принята. А теперь представьте себе, что угол наклона этой ступенчатой э.ф.р. резко меняется внутри кишки: то почти не растет, то резко растёт; снова не растёт, снова хорошо растёт. Для критерия Пирсона такие всплески означают, что внутри некоторых интервалов пусто, некоторых - густо. Конечно, если интервалов не два :) Критерий Пирсона такое отклонение эмпирической плотности от теоретической почувствует.

[T(h)rasher]

_hum_ , нам просто критерий Пирсона преподавали как наиболее часто используемый. И в задачах, которые мы решали, всегда использовали его.

--mS--, да, я не верно выразился. В числителе у этой дроби квадрат разности соответствующих эмпирических и теоритических частот, а в знаменателе - соответствующая эмпирическая частота. Для получения наблюдаемого значения критерия эти дроби складываются.

Вопрос по поводу формулы по ссылке: а где же $(k-1)!$ в знаменателе? И почему у $\lambda$ и $x$ разные степени? Разве у них ни степень $k-1$ ? Также я не понял откуда появилась дробь $\frac {1}{120}$.

А если получать вероятность попадания в интервал в ручную, то необходимо в формулу плотности подставить значение $x_i$ (соответствующее левой границе интервала), затем в формулу плотности подставить значение $x_{i+1}$ (соответствующее правой границе интервала) и вычесть из первой формулы вторую (по аналогии с такой же процедурой для экспоненциального распределения) ?

[_hum_]

--mS-- в сообщении #710191 писал(а):

Правда, оценки тут должны быть по методу минимума хи-квадрат.

Вот видите. А то, что делает сейчас автор, это, фактически, просто берет от балды выбирает простую гипотезу (полагая какие-то конкретные значения параметров) и проверяет ее по Пирсону. То же самое можно делать и по Колмогорову - там по крайней мере нет проблем с выбором интервалов. А насчет того, что он менее чувствителен, то ведь и в Пирсоне интервалы огрубляют чувствительность (хотя гипотетически, конечно, параметрический критерий должен быть чувствительнее непараметрического).

[--mS--]

T(h)rasher в сообщении #710201 писал(а):

Вопрос по поводу формулы по ссылке: а где же $(k-1)!$ в знаменателе? И почему у $\lambda$ и $x$ разные степени? Разве у них ни степень $k-1$ ? Также я не понял откуда появилась дробь $\frac {1}{120}$.

А Вы попробуйте выписать плотность с указанными параметрами, авось что-то и получится.

T(h)rasher в сообщении #710201 писал(а):

А если получать вероятность попадания в интервал в ручную, то необходимо в формулу плотности подставить значение $x_i$ (соответствующее левой границе интервала), затем в формулу плотности подставить значение $x_{i+1}$ (соответствующее правой границе интервала) и вычесть из первой формулы вторую (по аналогии с такой же процедурой для экспоненциального распределения) ?

Вы точно представляете себе, как по плотности вычисляются вероятности? Откройте учебник. Вероятность попасть в интервал равна разности значений не плотности, а функции распределения!

-- Пн апр 15, 2013 12:57:50 --

_hum_ в сообщении #710208 писал(а):

Вот видите. А то, что делает сейчас автор, это, фактически, просто берет от балды выбирает простую гипотезу (полагая какие-то конкретные значения параметров) и проверяет ее по Пирсону.

Нет, не это. Автор, если ему верить, нашёл оценки для параметров - обычно именно это делают, когда говорят "я нашёл параметры". В любом случае, как бы их не называть, это объекты, вычисленные по данной выборке. На другой выборке будут другие. Гипотеза простой никак не станет. Простая гипотеза - она одна и та же, какой бы ни была выборка из неё.

А то, что эти оценки не метода минимума хи-квадрат, а ОМП или ОММ, может помешать только в том случае, если гипотеза будет отвергаться. Просто потому, что статистика критерия хи-квадрат по правильным оценкам может оказаться меньше, чем по этим.

[T(h)rasher]

--mS-- в сообщении #710355 писал(а):

А Вы попробуйте выписать плотность с указанными параметрами, авось что-то и получится.

Да, Вы правы, все так и есть.

--mS-- в сообщении #710355 писал(а):

Вы точно представляете себе, как по плотности вычисляются вероятности? Откройте учебник. Вероятность попасть в интервал равна разности значений не плотности, а функции распределения!

Я опять не верно выразился. Действительно, вероятность попадания в интервал вычисляется через функцию распределения. Я не понимаю как вручную вычислить эту вероятность через разность значений функции Эрланговского распределения.

А параметры $k$ и $\lambda$ я нашел с помощью метода моментов.

[--mS--]

T(h)rasher в сообщении #710395 писал(а):

Я опять не верно выразился. Действительно, вероятность попадания в интервал вычисляется через функцию распределения. Я не понимаю как вручную вычислить эту вероятность через разность значений функции Эрланговского распределения.

У Вас есть функция распределения эрланговского распределения? В таком случае подставляете в неё концы интервала и вычитаете. Снова не понимаю, в чём вопрос. Или у Вас есть только плотность? Как по плотности ищутся вероятности попадания в интервал?