Несмещенная оценка вероятность успеха в числе испытаний

[2old]

Пусть выборка $x_1,\dots ,x_n$ порождена независимыми случайными величинами $\xi_1,\dots \xi_n$, имеющими биномиальное распределение с известным параметром $k$ и неизвестным параметром вероятности успеха $\theta$. Опишите множество тех пар неотрицательных целых чисел $r,s$, для которых существует несмещенная оценка величины $\varphi=\theta^r(1-\theta)^s$.

Я сделал какие-то начальные шаги и застрял.

Найдем сначала несмещенную оценку для$\theta$: $\hat{\theta}=\frac{1}{k}\overline{x}$ и проверим, что она не смещенная:

(Выкладки)

$$ \max\limits_{\theta}\ln{L}=\ln{\prod_{i=1}^{n}}\binom{k}{x_i}+(\sum\limits_{i=1}^{n}x_i)\ln{\theta}+(\sum\limits_{i=1}^{n}k-x_i)\ln{(1-\theta)} $$

$$ \hat{\theta}=\frac{1}{k}\overline{x} $$

$$ \mathbb{E}\hat{\theta}=\frac{1}{nk}\sum\limits_{i=1}^{n}\mathbb{E}x_i=\theta $$

Теперь, рассмотрим величину $\varphi'=\binom{r+s}{r}\theta^r(1-\theta)^s$. Тогда это в точности вероятность того, что в
$r+s$ испытаниях произойдет $r$ успехов. У нас есть хорошая оценка для этого, если испытаний было $k$, потому что мы оценивали $\theta$ для $\xi_i$ из $Binom(k,\theta)$. Тогда для $s+r=k$ все будет хорошо.

Но как это проверить строго, по определению несмещенности? Я почти уверен в том что это верно, потому для $\varphi'$ нужна оценка $\hat\theta=\frac{1}{r+s}\overline{x}$ ну и отсюда смещенность и пойдет

[--mS--]

(Оффтоп)

А можно перевести на русский язык два последних абзаца? Что Вы хотите сделать с оценкой $\hat\theta=\frac{1}{r+s}\overline{x}$? Чему равно её математическое ожидание и как это связано с $\varphi'$? Заключаю в тег "оффтоп", поскольку никакого отношения ни к задаче, ни к её решению это не имеет.

Вы пока никаких начальных шагов не сделали. Даже не выписали определение несмещённой оценки.

[2old]

--mS--

(Оффтоп)

$x_i$ распределено как $Binom(k,\theta)$, тогда

$$ \mathbb{E}\hat{\theta}=\mathhbb{E}\frac{1}{r+s}\overline{x}=\frac{n}{n(r+s)}\mathbb{E}x_i=\frac{k}{r+s}\theta $$

C $\phi'=\binom{r+s}{r}\theta^r(1-\theta)^s$, т.е. с вероятностью того, что из $r+s$ испытаний произошло $r$ успехов, это связано так. Пусть я знаю, что результаты экспериментов подчиняются закону $Binom(r+s,\theta)$. Тогда если я вижу результат в $r$ успехов, то его вероятность я бы посчитал как $\phi$, используя в качестве оценки $\theta$ $\hat{\theta}$. Если бы при этом $k=r+s$, то моя $\hat{\theta}$ была бы несмещенная.

Пусть $x_1,\dots,x_n$ выборка из распределения $F_{\theta}$, $\theta\in A$ Статистика $\hat{\theta}(x_1,\dots,x_n)$ называется несмещенной оценкой параметра $\theta$, если для любого $\theta\in A$, $\mathbb{E}\hat{\theta}=\theta$.

$$ \mathbb{E}\hat{\theta}^r(1-\hat{\theta})^s=\mathbb{E}\hat{\theta}^r\sum\limits_{i=0}^s\binom{s}{i}(-1)^{i}\hat{\theta}^s = \sum\limits_{i=0}^s\binom{s}{i}(-1)^{i}\mathbb{E}\hat{\theta}^{r+i} $$

Попробуем посчитать сначала математическое ожидание при $\hat{\theta}=\frac{1}{kn}\overline{x}$

$$ \mathbb{E}\hat{\theta}^{r+i}=(\frac{1}{kn})^{r+i}\mathbb{E}(\sum\limits_{i=1}^{n}x_i)^{r+i} $$

Рассмотрим $\xi=\sum\limits_{i=1}^{n}x_i$ Для всех $i$ $x_i~iid~Binom(k,\theta)$, тогда $\xi$ распределенно как $Binom(nk,\theta)$. Дальше надо научиться считать $r+i$ моменты в замкнутом виде.

[2old]

Я повыписывал моменты через характеристическую функцию до 5го, ничего хорошего там не выходит. По определению м.о. какого-нибудь реккурентного соотношения тоже не вышло.

[--mS--]

(Оффтоп)

2old в сообщении #1083865 писал(а):

$x_i$ распределено как $Binom(k,\theta)$, тогда

$$ \mathbb{E}\hat{\theta}=\mathhbb{E}\frac{1}{r+s}\overline{x}=\frac{n}{n(r+s)}\mathbb{E}x_i=\frac{k}{r+s}\theta $$

Если бы $k=r+s$, то $\hat{\theta}=\frac{1}{r+s}\overline{x}$ была бы несмещенной оценкой для $\theta$, что Вы выше и показали, а не для $\phi'$.

2old в сообщении #1083865 писал(а):

Пусть $x_1,\dots,x_n$ выборка из распределения $F_{\theta}$, $\theta\in A$ Статистика $\hat{\theta}(x_1,\dots,x_n)$ называется несмещенной оценкой параметра $\theta$, если для любого $\theta\in A$, $\mathbb{E}\hat{\theta}=\theta$.

$$ \mathbb{E}\hat{\theta}^r(1-\hat{\theta})^s = (\ldots) $$

Какое отношение последнее матожидание имеет к определению? Почему вместо $\mathsf E\hat{\theta}$ Вы вычисляете нечто совсем иное?

-- Вс дек 20, 2015 22:09:22 --

И вообще, параметр у Вас обозначен $\varphi=\varphi(\theta)$. Вот и начните с определения несмещённости оценки $\hat\varphi(x_1,\ldots,x_n)$ для параметра $\varphi$. Ничего кроме определения в этой задаче и знать-то не надо.

[2old]

--mS--
Я думал надо отталкиваться от $\hat{\theta}$, посчитать $\mathbb{\phi}$ для него и там уже посмотреть что вылезет и можно ли это смещение исправить. Надо видимо действовать иначе.

$\phi=\theta^{r}(1-\theta)^s$. Пусть существует несмещенная оценка для $\hat{\phi}=F(x_1,\dots,x_n)$, тогда:

$$ \mathbb{E}\hat{\phi}=\sum\limits_{i=0}^{nk}F(i)\binom{nk}{i}\theta^{i}(1-\theta)^{nk-i}=\theta^r(1-\theta)^s $$

Слева полином небольше чем $nk$ степени, справа степени $r+s$. Если $r+s>nk$, то ничего не получится. Если $r+s\leq nk$, то получается сможет для любых таких

[NSKuber]

2old в сообщении #1084055 писал(а):

$$\mathbb{E}\hat{\phi}=\sum\limits_{i=0}^{nk}F(i)\binom{nk}{i}\theta^{i}(1-\theta)^{nk-i}$$

Я догадываюсь, что вы хотели написать, но вышло у вас что-то странное. Оно верно только если $F$ - функция от $x_1+\ldots+x_n$.

[2old]

NSKuber
Почему? $\sum\limits_{i=1}^{n}x_i$ распределено как $Binom(nk,\theta)$. Записанно по определению м.о. $F(\sum\limits_{i=1}^{n}x_i)$

А как иначе? Если $F$ зависит от чего-нибудь еще, я не знаю распределения. А тут и степень полинома получается максимальная

[NSKuber]

2old
А с чего бы это вдруг $F$ - функция от суммы? Других статистик не бывает? У вас строчкой ранее написано что $F$ - некоторая функция от элементов выборки.

[2old]

NSKuber
Получается вот так, в силу независмости $x_1,\dots,x_n$ их совместная функция распределения это просто произведение маргинальных.
Тогда:

$$ \mathbb{E}\hat{\phi}=\sum\limits_{i_1,\dots,i_n=0}^{k}F(i_1,\dots,i_n)\prod_{i=1}^{n}\binom{k}{i}\theta^{i}(1-\theta)^{k-i}=\theta^r(1-\theta)^s $$

Вывод тот же, слева степень полинома не более $nk$, значит несмещенная оценка может быть только для $r+s\leq nk$

[--mS--]

Ну если ещё и вероятности под суммой будут какие надо, совсем будет верно.

[2old]

$$ \mathbb{E}\hat{\phi}=\sum\limits_{i_1,\dots,i_n=0}^{k}F(i_1,\dots,i_n)\prod_{j=1}^{n}\binom{k}{i_j}\theta^{i_j}(1-\theta)^{k-i_j}=\theta^r(1-\theta)^s $$

Вроде вот так. Спасибо за помощь!