Лучшая оценка плотности дискретного распределения

[Андрей1]

После сравнения вероятностей с независимым источником "лучшая плотность" получается следующей (вместо $\nu_0$ и $\nu_1$ в предыдущей лучшей оценки брать $\hat P_{\pi}\{0\}$ и $\hat P_{\pi}\{1\}$ и объяснения этому таково, что эти вероятности можно оценивать как если бы $X_i$ были бы независимы):

0) $Z=\hat P_{\pi}\{0\}(\lambda_0) + \hat P_{\pi}\{1\}(\lambda_0) + \nu_2/N$, $\lambda_0=<S>$
1) $\hat {\hat P}\{S=0\}=A \hat P_{\pi}\{0\}(\lambda_0) / Z$
2) $\hat {\hat P}\{S=1\}=A \hat P_{\pi}\{1\}(\lambda_0) / Z$
3) $\hat {\hat P}\{S=2\}=A \nu_2/N/Z$
4) $\hat {\hat P}\{S=s\}=\hat P_{\pi}\{S=s\}(\lambda)$, для $s \ge 3$, где $\lambda: \sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=A$

Насколько я понимаю, теореме о достаточной статистике эта оценка не противоречит.

Вообще, не совсем понятно, в каком классе функций искать "наилучшую" оценку (и возможно ли найти наилучшую оценку в этом классе).

Удивительно, конечно, что все вероятности для $s \ge 3$ считаются только через связь (и для них не используются частотные оценки из данных), но сильных противоречий в этой модели пока не видно (возможно, конечно что при $s=3$ для оценки нужно таки подключить $\nu_3$, но пока строгих указаний для этого не видно).

[Andrew Gubarev]

На вопрос “что такое $A$” Вы полностью не ответили: не ясно как зависит $A$ от параметров $p_i$. В целом, хотелось бы увидеть в одном сообщении ясную формулировку задачи, и в другом одном сообщении подробно описание Ваших решений, но так, чтобы не приходилось бесконечно задавать уточняющие вопросы.

Андрей1 в сообщении #467392 писал(а):

1) $P\{S=s\}=\nu_s/(\nu_0+\nu_1+\nu_2) A$ для $s \le 2$
2) $P\{S=s\}=\hat P_{\pi}\{S=s\}(\lambda)$, для $s \ge 3$, где $\lambda: \sum_{s=0,2}{\hat P_{\pi}\{S=s\}}(\lambda)=A$

Не ясно как находится параметр $\lambda$ “когда нет связи”.

Сравнивать качество оценок на основе результатов для одной или несколько выборок — глупо. Как правило, находятся “реализации” выборки, для которых даже наилучшая оценка дает значения, сильно отличающиеся от оцениваемых параметров, и, в тоже время, очень плохая оценка может на этих “реализациях” выборки дать очень хорошее совпадение значений оценки с оцениваемым параметром. Поэтому Ваши рисунки либо непонятны, либо неубедительны. Почитайте, пожалуйста, о методах сравнения оценок, например, в указанной выше книге Боровкова.

[Андрей1]

Andrew Gubarev в сообщении #468117 писал(а):

На вопрос “что такое $A$” Вы полностью не ответили: не ясно как зависит $A$ от параметров $p_i$.

$A$ никак не зависит от параметров $p_i$. A - это независимое, новое данное.

Andrew Gubarev писал(а):

Не ясно как находится параметр $\lambda$ “когда нет связи”.

Для варианта оценки без связи $A=\nu_0/N+\nu_1/N+\nu_2/N$

[Andrew Gubarev]

О! Я вас изначально, видимо, неправильно понял! Прочитав первое сообщение, я вообразил, что наблюдаются только суммы $S = X_1 + \ldots + X_n$. Отсюда и исходил в построении плотности. Если доступны наблюдению сами $X_i$, то плотность одного испытания будет

$$\prod_{i=1}^n p_i ^{I_{\{X_i=1\}}},$$

а для выборки объема $N$ получим

$$\prod_{j=1}^N \prod_{i=1}^n p_i ^{I_{\{X_{ij}=1\}}} = \prod_{i=1}^n p_i^{\sum_{j=1}^N I_{\{X_{ij}=1\}}}= \prod_{i=1}^n p_i^{\nu_i},$$

здесь введено обозначение $\nu_i = \sum_{j=1}^N I_{\{X_{ij}=1\}}$. Отсюда следует, что статистика $(\nu_1,\ldots, \nu_n)$ является достаточной. Оценки $\hat p_i = \nu_i /N$ являются несмещенными. Оценки параметров $P_i$ строим по этим оценкам. Например, при $n=2$ будем иметь $\hat P_0 = \overline {\hat p_1} \cdot \overline {\hat p_2}$, $\hat P_1= \hat p_1 \cdot \overline {\hat p_2} + \overline {\hat p_1} \cdot \hat p_2}$. Эти оценки очевидно несмещенные и эффективные (последнее проверю завтра).

Приношу извинение за то, что изначально заглючился. Сейчас на работе устаю, а пишу на форум в основном после работы или ночью. Завтра еще раз перепроверю предыдущий абзац.

По поводу использования для оценки константы $A$, которая никак не связана с параметрами, но предполагается использоваться Вами для их оценки: непонятно.

Добавлено 17.07.2011

Да, реально заглючился. В предыдущем сообщении плотность выписана заведомо с ошибкой, да и индикаторы ни к месту. Плотность одного «испытания» будет иметь вид

$$f(X_1,\ldots, X_n) = \prod_{i=1}^n p_i^{X_i}(1-p_i)^{1-X_i},$$

тогда для выборки объема $N$ получим

$$\prod_{i=1}^n p_i^{\sum_{j=1}^N X_i}(1-p_i)^{N-\sum_{j=1}^N X_i}.$$

Дальше, как будто, все правильно. Проверьте, Андрей1, а то я что-то на работе зашился.

[Андрей1]

Andrew Gubarev в сообщении #469134 писал(а):

Дальше, как будто, все правильно. Проверьте, Андрей1, а то я что-то на работе зашился.

Да, концептуально со всем согласен (правда, случай с зависимыми $X_i$ уже не так очевиден). Спасибо за помощь.

Оценка, приведенная мною выше (с некоторыми небольшими эмпирическими поправками) пока устраивает. А по-хорошему, нужно вводить какие-то непараметрические поправки и искать оценки для них минимизацией функции риска (и таким образом выбирать оптимальную плотность из достаточно широкого класса).

-- Вт июл 19, 2011 15:26:19 --

Andrew Gubarev в сообщении #468469 писал(а):

По поводу использования для оценки константы $A$, которая никак не связана с параметрами, но предполагается использоваться Вами для их оценки: непонятно.

Что тут непонятного? Таково условие задачи и так эта модель будет использоваться в реальности.