Лучшая оценка плотности дискретного распределения

[Андрей1]

Стоит задача найти лучшую (без дополнительной информации) оценку плотности $P_j$ дискретного распределения - суммы $S_n$ неодинаково распределенных Бернульевских величин $P\{X_i=1\}=p_i$: $S_n=X_1+...+X_n$, при наличии ограничений: $p_{i+1} \ge p_i$.
($n=18$)
Для оценки есть данные $\{s_1=x_{1,1}+x_{2,1}+...+x_{n,1},s_2=x_{1,2}+...,...,s_N=x_{1,N}+x_{2,N}+...+x_{n,N}\}$. ($N=300$)
Из численных экспериментов известно что оценка максимального правдоподобия для модели с независимыми p_i$ и заданными ограничениями, занижает $P\{S_n=3\}$ и выше, и значения по модели $X_1+...+X_n$ сильно отличается от значений частот суммы.
Поэтому есть идея оценивать $p_i$ по другому: искать максимум для функции правдоподобия суммы $w_0\log{P_0(p_i)}+w_1\log{P_1(p_i)}+...$ ($w_a=\Omega\{s_n=a\}/N$, где $\Omega\{\}$ - подсчет количества случаев) и функции правдоподобия частных вероятностей:
$\Omega\{x_{1,.}=1|s_n=1\}\log{(p_1/(1-p_1))/\sum_i{(p_1/(1-p_1))}} + ... + \Omega\{x_{n,.}=1|s_n=1\}\log{(p_n/(1-p_n))/\sum_i{(p_n/(1-p_n))}} + ... $

Возможно, есть какой-то более простой подход к этой задаче?

[Andrew Gubarev]

Сумма $n$ независимых бернуллиевский случайных величин с неизвестными параметрами $p_i$, $i = 1,\ldots, n$ имеет полиномиальное распределение с тем же числом $n$ неизвестных параметров $P_i = \mathsf P\{S=i\}$, $i=0,\ldots, n-1$. Поэтому, из интуитивных соображений, не имеет смысла для оценивания $P_i$ оценивать (по наблюдаемым значениям сумм) параметры $p_i$.

Обозначим количество событий $\{S = i\}$ в выборке через $\nu_i$. (Статистика $(\nu_0, \ldots, \nu_{n-1})$ является полной достаточной статистикой и оценки параметров должны выражаться через компоненты этой статистики.) Оценкой максимального правдоподобия параметра $P_i$ является $\hat P_i = \nu_i/N$, $i=0, \ldots,n-1$. Это несмещенная оценка (поэтому в «среднем» оценка будет «завышать» значение параметра столь же часто, как и «занижать»; дополнительные соотношения в виде $p_{i+1} \ge p_i$ изменить это не могут.)

[Андрей1]

Цитата:

Обозначим количество событий $\{S = i\}$ в выборке через $\nu_i$. (Статистика $(\nu_0, \ldots, \nu_{n-1})$ является полной достаточной статистикой и оценки параметров должны выражаться через компоненты этой статистики.)

Спасибо за Ваш ответ.
У меня есть аргументы, из-за которых я отказался от подхода, рассматривать $P_i$ как независимые параметры.
1) Если рассматривать $P_i$ как независимые параметры и использовать только $\nu_i/N$ для их оценки, получаются оценки $\hat P_i$, которые являются неудовлетворительными по точности, по другим критериям. Значит нужно использовать всю дополнительную информацию, которая есть в выборке (и задана в задаче) и строить $\hat P_i$ из "первых принципов".
2) Из данных видно, что достаточно аппроксимировать плотность $P_i$ функцией с 2-3 параметрами (пуассоновское и обратное биномиальное распределение не удовлетворяет, но поправки к этим распределениям могут быть вполне удовлетворительными).
3) Оценка максимального правдоподобия работает только если модель выбрана достаточно точно. Если же в правильности выбора модели есть сомнения, но обычно (в таких случаях) используют оценки, минимизирующие риск. Поэтому, на вскидку, не вызывающим сомнения остаются только оценки максимального правдоподобия для $p_i$ из частот.

Цитата:

Оценкой максимального правдоподобия параметра $P_i$ является $\hat P_i = \nu_i/N$, $i=0, \ldots,n-1$. Это несмещенная оценка (поэтому в «среднем» оценка будет «завышать» значение параметра столь же часто, как и «занижать»; дополнительные соотношения в виде $p_{i+1} \ge p_i$ изменить это не могут.)

Если дополнительные соотношения в виде $p_{i+1} \ge p_i$ не могут "объяснить" (регулярное) занижение некоторых значений суммы, значит отсюда следует, что гипотеза о независимости исходов с $p_i$ не проходит и нужно рассматривать модели суммы зависимых бернуллиевских случайных величин, насколько я понимаю?

[Андрей1]

Спросил еще тут:
http://stats.stackexchange.com/question ... ndent-data

[Andrew Gubarev]

1. Ограничения $p_i \le p_{i+1}$ ничего дополнительно не дают. Действительно, случайные величины $X_i$ можно упорядочить в порядке неубывания параметра $p_i$; значение суммы, при этом, не изменится. На мой взгляд, очевидно, что, оценивая $P_i$ непосредственно по выборке, Вы используете всю известную вам информацию. Просто запишите в терминах $p_i$ ($p_{ij\ldots}$ для зависимых) выражение для функции правдоподобия выборки ($S_1, …, S_N$) и по факторизационной теореме Вы сразу получите достаточность статистики $(\nu_0,.., \nu_{n-1})$ для оценивания $P_i$, являющихся комбинациями $p_i$ ($p_{ij\ldots}$ для зависимых). Может быть такое рассмотрение Вас убедит. Если независимости бернуллиевских случайных величин нет, то тем более имеет смысл оценивать по выборке именно $P_i$, значительно сократив количество оцениваемых (скалярных) параметров.

2. Несмещенная оценка $\hat P_i = \nu_i/N$ — полная достаточная статистика, поэтому она единственная эффективная (эквивалентный термин — оптимальна) в классе несмещенных оценок. (См., например, §2.14 Построение эффективных оценок с помощью достаточных статистик в книге Боровков А.А. Математическая статистика. — М.: Наука, 1984 (djvu). Полнота следует из того, что полиномиальное распределение принадлежит экспоненциальному семейству, а параметры $\theta_i = \ln(P_i/P_n)$, $i=0 ,.., n-1$ заметают открытый параллелепипед $(-\infty, +\infty)^n$.)

[Андрей1]

Получается, единственными недостатками эмпирической оценки $\hat P_i = \nu_i/N$ - являются: (1) большое кол-во параметров ($P_0,...,P_6$, $P_7 \approx 0$) и (2) возможные нарушения желательных неравенств, например: $\nu_{i+1} \ge \nu_{i}$ для какого либо $i \ge i_{maxi}, $$i_{maxi} : P_{i_{maxi}} \ge P_i$ (начиная с максимальной вероятности суммы, следующие вероятности суммы должны строго убывать),
(3) неудовлетворительное значение оценки $\hat P\{S \le 3\} = \hat P\{S \le 2\} + \hat \nu_3/N$: получается значение 0.794, ожидается значение: 0.756 (разница: 0.038)

-- Чт июл 07, 2011 11:43:15 --

Вот два распределения суммы (для двух выборок):

[Андрей1]

Andrew Gubarev в сообщении #465510 писал(а):

1. На мой взгляд, очевидно, что, оценивая $P_i$ непосредственно по выборке, Вы используете всю известную вам информацию.

В оценке максимального правдоподобия для $p_i$ используется больше исходных данных: $n$ данных (случайных частот) из выборки (n=18), в то время как в оценке $\hat P_i = \nu_i/N$ лишь 6-7 частот.

Правда, это имеет смысл, только если данные независимые.

Если частотная оценка суммы является наилучшей, значит она должна быть наилучшей и в случае, если расцепить данные на блоки, для оценки $p'_i$ зависимых и независимых $X_i$.

[Андрей1]

Andrew Gubarev в сообщении #465510 писал(а):

2. Несмещенная оценка $\hat P_i = \nu_i/N$

Параллельно возник еще один подвопрос.
Допустим, наc интересуют "наилучшие" оценки для частот, при условии, что несмещенная оценка на $\hat P\{S \le 2\}=A$ нам известна (точнее, чем частотная оценка).
В этом случае, наилучшие оценки будут:
(1) для $P\{S = 2\}$ : $\hat P\{S = 2\} = A - \nu\{S \le 1\}$
(2) для $P\{S = 3\}$ : $\hat P\{S = 3\} = \nu \{S \le 3\} - A$

Возникает вопрос, как корректным образом использовать это знание о $P\{S \le 2\}$ в остальных оценках? На первый взгляд кажется, что никак.

[Andrew Gubarev]

В предыдущем сообщении я написал бред относительно параллелепипеда, который должен содержаться в параметрическом множестве. Приведу относительно подробный текст: если я ошибаюсь или невнятен, укажите, пожалуйста, конкретное место.

1. Покажу достаточность для случая независимых $X_i$. Для одного испытания, состоящего из получения значений случайных величин $X_1,.., X_n$ плотность имеет вид

$$f (S)= \Pi_{i=1}^n P_i^{I_{\{\sum_{k=1}^n X_k=i \}}},$$

где $I_A$ — индикатор события $A$: $I_A$ принимает 1, если событие $A$ произошло, и 0, если событие $A$ не произошло; параметры $P_i$ выражаются через $p_i$, например, для случая $n=2$. $P_0 = \bar p_1 \bar p_2$, $P_1 = \bar p_1 p_2 + p_1 \bar p_2$, $P_2 = p_1 p_2$, где $\bar p_i = 1-p_i$.
Для выборки из $N$ испытаний плотность имеет вид

$$f (S_1,…, S_N)=\prod\limits_{j=1}^N \Pi_{i=1}^n P_i^{I_{\{\sum_{k=1}^n X_{k,j}=i \}}} = \Pi_{i=1}^n P_i^{\sum\limits_{j=1}^N I_{\{\sum_{k=1}^n X_{k,j}=i \}}}.$$

(Индексом $j$ нумеруем испытания.) Если ввести обозначение $\nu_i = \sum\limits_{j=1}^N I_{\{\sum_{k=1}^n X_{k, j}=i \}}$ , то плотность можно записать в виде

$$f(S)= \prod\limits_{i=1}^n P_i^{\nu_i}.$$

Сравнивая с формулой (2) на с. 129 книги Боровков МС, 1984, делаем заключение, что $(\nu_0,…, \nu_{n-1})$ — достаточная статистика.
2. Полнота. 2.1. Семейство распределений с плотностью вида $f(x) = h(x)\exp (\sum\limits_{i=1}^k a_j(\theta)U_j(x) +V(\theta))$ (где все функции в правой части конечны и измеримы) называется экспоненциальным семейством. Покажем, что наше семейство экспоненциального типа. Заметим, что $I_{\{S=n\}} = 1 - \sum_{i=1}^{n-1}I_{\{S=i\}} $
В нашем случае

$$f(S) = P_n \prod_{i=0}^{n-1} (P_i/P_n)^{I_{\{S=i\}}} = \exp\left(\sum_{i=0}^{n-1} {I_{\{S=i\}}} \ln \theta_i + \ln \theta_n \right),$$

где $\theta_i = P_i / P_n$, $\theta_n = P_n$.
2.2. Для полноты статистики множество $\Theta$ должно содержать n-параллелепипед, а функции $a (\theta)$ должны быть линейно независимы. В предыдущем сообщении я написал полный бред по поводу вида этого параллелепипеда. В случае $n=2$ просто построить эскиз параметрического множества и убедится, что в нем можно поместить маленький прямоугольник. В общем случае, т.к. функции, задающие отображение $p \to P$, и $P \to \theta$ линейно независимы и в исходном параметрическом множестве можно выбрать параллелепипед, то и параметрическое множество $\Theta$ содержит параллелепипед.

Андрей1 в сообщении #466000 писал(а):

Получается, единственными недостатками ... и (2) возможные нарушения желательных неравенств, например: $\nu_{i+1} \ge \nu_{i}$ для какого либо $i \ge i_{maxi}, $$i_{maxi} : P_{i_{maxi}} \ge P_i$ (начиная с максимальной вероятности суммы, следующие вероятности суммы должны строго убывать)...

Грубо говоря, нарушения этих неравенств является следствием условий задачи, и никак не может быть изменено. Видимо, Вы хотите чего-то другого, например, чтобы выполнялись соотношения $\hat P_{i+1} \le \hat P_i$, при .... Как найти наилучшую оценку, при дополнительном выполнении этого условия, я не знаю.

Андрей1 в сообщении #466031 писал(а):

В оценке максимального правдоподобия для $p_i$ используется больше исходных данных...

В исходной задаче (сформулированной в начальном сообщении темы) требовалось найти наилучшие оценки $P_i$, а не параметров $p_i$ + «…грубо говоря, знание $S(X)$ [достаточной статистики, в нашем случае $(\nu_0,…, \nu_{n-1})$ — A.G.] достаточно для построения оценки параметра $\theta$ [в нашем случае $P_0,…, P_{n-1}$ — A.G.]; остальные данные, содержащиеся в выборке $X$, бесполезны.» Боровков А.А. МС, 1984, с.128.

Андрей1 в сообщении #466031 писал(а):

Если частотная оценка суммы является наилучшей, значит она должна быть наилучшей и в случае, если расцепить данные на блоки, для оценки $p'_i$ зависимых и независимых $X_i$.

«Частотная» оценка не может быть наилучшей «вообще». Зачем оценивать $p'_i$? Новая задача?

[Андрей1]

Andrew Gubarev в сообщении #466716 писал(а):

$\nu_i = \sum\limits_{j=1}^N I_{\{\sum_{k=1}^n X_{k, j}=i \}}$ , то плотность можно записать в виде ...

Плотность у Вас - это функция правдоподобия, насколько я понимаю?

Цитата:

Андрей1 в сообщении #466031 писал(а):

Если частотная оценка суммы является наилучшей, значит она должна быть наилучшей и в случае, если расцепить данные на блоки, для оценки $p'_i$ зависимых и независимых $X_i$.

«Частотная» оценка не может быть наилучшей «вообще». Зачем оценивать $p'_i$? Новая задача?

Что значит не может быть наилучшей «вообще»?

$p'_i$ - это вероятность бернульевских событий, если одно событие уже случилось. Такая модель зависимости выглядит вполне адекватной для задачи.
Задача та же, только $X_i$ скорей всего слабо-зависимые.

Вообще я решаю вполне реальную задачу, поэтому нет ничего удивительного в том, что постановка задачи может немного меняться, что может немного изменять условия математической задачи :) (нужна ведь такая постановка задача, для которой понятно, какое она имеет отношение к реальной задаче и при этом, чтобы для нее можно было найти ответ).

Адекватная модель зависимости, похоже, такова: если на шаге $k$ случается бернульевское событие, то бернульевские вероятности для остальных событий $X_i$ меняются. Можно считать, что после того как $\sum X_i \ge 5$ эта зависимость пропадает.

Из практических вычислений видно, что при увеличении объема выборки (включение в выборку всех данных, даже тех, для которых $X_i$ нельзя считать распределенными одинаково во всей большой выборке), асимптотическое распределение $P\{S\}$ - пуассоновское.

Например, пуассоновское распределение (cиний график) для двух выборок:



И для объединения этих выборок:


В итоге наилучшую оценку я вижу следующей:
(1) Оценивать частотной оценкой $P\{0\}$, $P\{1\}$, $P\{2\}$ (до максимума включительно)
(2) Дальше оценивать пуассоновской оценкой (такой, чтобы сумма остальных вероятностей дала $1-P\{0\}-P\{1\}-P\{2\}$.

Точно такую же модель можно оценивать и через оценку $p_i, p'_i, p''_i$ + параметр пуассоновского распределения $\lambda$ (правда, в этой оценке будут связи на параметры, поскольку $P{3}$ можно будет выражать и через $p_i, p'_i, p''_i$ и через $\lambda$).

Эта оценка, как я сейчас вижу, решает все проблемы.

Кстати, из графика видно, что все отклонения от пуассоновской оценки (которая вероятно, была бы точнее, если бернульевские события были бы независимы) всегда по порядку больше/меньше пуассоновского значения. Отсюда возникает идея оценивать $P\{i\}+P\{i+1\}$ через сумму пуассоновских оценок. Из задачи такую процедуру вполне можно объяснить. Правда, еще не понятно, $\hat P\{1\} и $\hat P\{3\} должны быть больше пуассоновского значения или меньше :).

[Andrew Gubarev]

У меня $f(S)$ — это плотность случайной величины $S$, т.е. $f_S(x)$; параметры модели явно не указаны (у Боровкова тоже плотность; случай считающей меры). Аргументы функции правдоподобия — параметры модели, а параметры — это значения выборочного вектора. Вы использовали понятие плотности для дискретных случайных величин, поэтому, я решил, что его использование будет Вам понятно. Но если Вам удобней считать этот объект функцией правдоподобия, то можно, в данном случае, и так делать; на мой взгляд, это не приведет ни к каким техническим затруднениям.

Зависимость ничего не меняет. Рассмотрим частный случай. Пусть $n=3$, распределение $X_1 X_2 X_3$ можно задать вероятностями $p_{000}$, $p_{100}$, …, $p_{111}$, где $p_{ijk} = \mathsf \{X_1 = i, X_2 = j, X_3 = k \}$. Тогда $P_0 = p_{000}$, $P_1 = p_{100} + p_{010} + p_{001}$, $P_2 = p_{110} + p_{101} + p_{011}$, $P_3 = p_{111}$. Дальше см. доказательство достаточности в моём предыдущем сообщении с места, где определяется $f(S)$. Вывод: и в случае зависимых $X_i$, статистика $(\nu_0,.., \nu_{n-1})$ является достаточной и оценки параметров $P_i$ должны быть функциями от этой статистики.

Относительно Вашего подхода к решению задачи. Дайте, пожалуйста, более внятную формулировку задачи и её решения — тогда можно будет говорить по существу. Пока ничего из Вашего текста понять я не могу.

[Андрей1]

Интересует "лучшая" (для имеющихся данных и предположений) оценка для $P\{S\}$ при следующих условиях:
1) Для суммы вероятностей известна связь: $P\{0\} + P\{1\} + P\{2\} = A$
2) Задан механизм зависимости $X_i$: $P\{X_i\} = p_i$ если $\sum_{j=1,i-1}{X_j}=0$, $P\{X_i\} = p'_i$ если $\sum_{j=1,i-1}{X_j}=1$, $P\{X_i\} = p''_i$ если $\sum_{j=1,i-1}{X_j} \ge 2$
3) $p_{i+1} \ge p_i$, $p'_{i+1} \ge p'_i$, $p''_{i+1} \ge p'_i$.
4) Максимальное значение вероятности имеет $P\{S=2\}$
5) $P\{S=s\}>P\{S=s+1\}$ для всех $s \ge 2$
6) Обозначим $\hat P_{\pi}\{S\}$ - пуассоновская оценка вероятности, такая что $\sum_{s=0,2}{\hat P_{\pi}\{S=s\}}=\hat P\{0\}+ \hat P\{1\} + \hat P\{2\}=A$. Имеется следующая дополнительная информация (250 значений А и независимых оценок для $P\{S\}$): в примерно 78% случаев, скорей всего, $\hat P_{\pi}\{0\} \le P\{0\}$ (на 0-7%), в примерно 80% случаев $\hat P_{\pi}\{1\} \ge P\{1\}$ и в примерно 80% случаев $\hat P_{\pi}\{3\} \ge P\{3\}$.

Предлагается использовать такую оценку (пока без учета условия (6)):
1) $P\{S=s\}=\nu_s/(\nu_0+\nu_1+\nu_2) A$ для $s \le 2$
2) $P\{S=s\}=\hat P_{\pi}\{S=s\}(\lambda)$, для $s \ge 3$, где $\lambda: \sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=A$

Я попробовал найти MLE-оценку для модели c $p_i, p'_i, p''_i$, но получил результат, который хуже (при сравнении с другими независимыми оценками), чем оценка выше. Пока причину этого не понимаю (понятно, что теорема утверждает, что оценка должна быть функцией $\nu_0,...,\nu_{n-1}$, но и теоретической ошибки в оценке вероятности через $p_i, p'_i, p''_i$ и соответствующие данные пока тоже не видно).

[Andrew Gubarev]

Что такое $A$? Откуда берутся значения $A$ для вычислений значений по приведенным Вами формулам:

Андрей1 в сообщении #467392 писал(а):

1) $P\{S=s\}=\nu_s/(\nu_0+\nu_1+\nu_2) A$ для $s \le 2$
2) $P\{S=s\}=\hat P_{\pi}\{S=s\}(\lambda)$, для $s \ge 3$, где $\lambda: \sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=A$

Какова оценка максимального правдоподобия для модели с $p_i, p_i’, p_i’’$? В каком смысле «результат хуже, чем оценка выше»? И что такое «оценка выше»? Что такое «оценка вероятности через $p_i, p_i’, p_i’’$»?

[Андрей1]

Andrew Gubarev в сообщении #467545 писал(а):

Что такое $A$? Откуда берутся значения $A$ для вычислений значений по приведенным Вами формулам:...

$A$ - это некоторое число. В действительности $A$ оценивается экспертами (или берется как среднее значение по независимым источникам).

Цитата:

Какова оценка максимального правдоподобия для модели с $p_i, p_i’, p_i’’$

В смысле каковы численные результаты, или какая функция максимизируется?

-- Вт июл 12, 2011 17:51:54 --

Andrew Gubarev в сообщении #467545 писал(а):

Какова оценка максимального правдоподобия для модели с $p_i, p_i’, p_i’’$?

$p_i, p_i’, p_i’’$ можно оценивать как со связью A (при этом к функции правдоподобия я добавляю слагаемое $-(\sum_{s=0,2}{\hat P\{S=s\}(p,p',p'')} - A)^2/\sigma^2$) и такой подход, на первый взгляд выглядит более правильным, или без связи.

Цитата:

В каком смысле «результат хуже, чем оценка выше»? И что такое «оценка выше»? Что такое «оценка вероятности через $p_i, p_i’, p_i’’$»?

«Оценка вероятности через $p_i, p_i’, p''_i$» означает, что оценка для $P\{S=s\}$
строится как функция $p_i, p_i’, p''_i$ : $\hat P\{S=s\} = \hat P\{S=s\} (p_i, p'_i, p''_i)$.

Для случая без связи, вот графики различных оценок (внизу идет номер данных, поэтому оценки для $P\{0\}$ идут под номером 1):

Красный график - оценка максимального правдоподобия для модели с $p_i, p_i’, p_i’’$
Значения для $p_i, p_i’, p''_i=p''$ приведены ниже.
Синяя - частотная оценка $\nu_0/N,...,\nu_6/N$, желтая - пуассоновская оценка, с значением параметра $\lambda$ таким, что $\sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=(\nu_0 + \nu_1 + \nu_2)/N$.

Видно, что красный график сильно выбивается из частотной и пуассоновской оценки и, самое главное,
$\sum_{s=0,3}{\hat P\{S=s\}(p,p',p'')} = 0.856821 > \sum_{s=0,3}{\nu_s/N} = 0.831325$ в то время как скорей всего (из других источников известно)$\sum_{s=0,3}{P\{S=s\}} < 0.8$.

Значения параметров $p_i, p_i’, p''_i=p''$:
{p[1] -> 0.0692771, p[2] -> 0.10356, p[3] -> 0.108028,
p[4] -> 0.108028, p[5] -> 0.108028, p[6] -> 0.113402,
p[7] -> 0.114551, p[8] -> 0.114551, p[9] -> 0.162963,
p[10] -> 0.106195, p[11] -> 0.108027, p[12] -> 0.108028,
p[13] -> 0.108028, p[14] -> 0.127049, p[15] -> 0.127049,
p[16] -> 0.127049, p[17] -> 0.127049, p[18] -> 0.204545,
p1[2] -> 0.08, p1[3] -> 0.08, p1[4] -> 0.0963636, p1[5] -> 0.0963636,
p1[6] -> 0.0963636, p1[7] -> 0.0963636, p1[8] -> 0.0963636,
p1[9] -> 0.181159, p1[10] -> 0.107143, p1[11] -> 0.107143,
p1[12] -> 0.107143, p1[13] -> 0.133087, p1[14] -> 0.133087,
p1[15] -> 0.133087, p1[16] -> 0.133087, p1[17] -> 0.133087,
p1[18] -> 0.177778,
p2 -> 0.12474}

[Андрей1]

Andrew Gubarev в сообщении #467545 писал(а):

И что такое «оценка выше»?

Это вот эта оценка:

Андрей1 в сообщении #467392 писал(а):

1) $P\{S=s\}=\nu_s/(\nu_0+\nu_1+\nu_2) A$ для $s \le 2$
2) $P\{S=s\}=\hat P_{\pi}\{S=s\}(\lambda)$, для $s \ge 3$, где $\lambda: \sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=A$

Для случая без связи $A$: $A=(\nu_0+\nu_1+\nu_2)/N$.

-- Вт июл 12, 2011 18:32:03 --

Цитата:

Видно, что красный график сильно выбивается из частотной и пуассоновской оценки...

Не исключено и в данный момент скорей всего (тем более в свете теоремы о достаточной статистике для частот), что в этом результате есть багги в вычислениях, но пока результат именно таков. Понятно, что MLE-оценка для модели с $p_i, p_i’, p''_i$ должна совпасть (хотя бы примерно) с частотной оценкой.