Несмещённость, эффективность оценки распределения Паскаля

[Nyanfox]

ShMaxG
Нужно проверить просто несмещённость. Уточню: под "сатаной" я подразумевал ряд, полученный в $M[h(Z)]$ (надо узнать, равна сумма этого ряда $p$ или нет, т.е. сначала узнать, к чему его сумма сходится).

Я умею проверять несмещённость только через матожидание, а эффективность только с помощью дисперсии (нас так учили). Тем не менее, я слышал про такую вещь, например, как неравенство Йенсена:
$\varphi(M[X])\leq M[\varphi(X)]$
стоит попробовать взять $X=\sum\limits_{i=1}^{n}X_i$ и $\varphi(X)=\frac{2n}{2n+X}$?

[ShMaxG]

Вдумайтесь: чтобы сравнить мат. ожидание с величиной $p$ не обязательно вычислять мат. ожидание. Ну по-крайней мере можно остановиться на этой бесконечной сумме, которую мы получили.

Вот вам подсказка:

$$\[{{\mathbf{E}}\frac{{nr}}{{{S_n} + nr}} > {\mathbf{E}}\frac{{nr - 1}}{{{S_n} + nr - 1}} = p}\]$$

Здесь $n$ -- объем выборки, $\[{S_n} = \sum\limits_{i = 1}^n {{X_i}} \]$. Видите равенство справа? Вот это стоит показать, это не сложно. А то, что слева -- это то, что нам нужно. Как видите, оценка явно смещенная.

Насчет достаточности да, я перепутал. Эффективность надо проверить. А как связана оценка максимального правдоподобия и ее эффективность?

-- Вт июл 01, 2014 14:42:19 --

А, ну можете и неравенством Йенсена воспользоваться, это, конечно, самый простой и быстрый путь.

[Nyanfox]

ShMaxG
Спасибо за идею. Насчёт Йенсена:
$\varphi(M[X])=\frac{2n}{2n+\frac{2n(1-p)}{p}}=p\quad \Rightarrow \quad p\leq M[\varphi(X)]$
Как мне кажется, это ничего не дало, т.к. не исключён случай $p=M[\varphi(X)]$

ОМП является асимптотически эффективной и "если существует эффективная оценка, то ОМП даёт именно эту оценку и более точной оценки найти нельзя". Тем не менее, нужно узнать эффективность, например, с помощью $e(T_n, \check{p})=\frac{1}{i(\check{p})D[T_n]}$. $T_n$ - это достаточная статистика (на практике я обычно просто подставлял туда полученную оценку), так? Сейчас уже не могу найти информацию по этой формуле.
Также эффективность проверялось по принципу определения порядка роста дисперсии. Т.е. для Пуассона, например, это выглядело бы так: $D[\check{\lambda}]=D[\bar{X}]=\frac{1}{n^2}D\left[\sum\limits_{i=1}^{n}X_1\right]=\frac{\lambda}{n}\sim \frac{1}{n}$

[ShMaxG]

Nyanfox в сообщении #882750 писал(а):

Как мне кажется, это ничего не дало, т.к. не исключён случай $p=M[\varphi(X)]$

А надо просто четко понимать, что это неравенство Йенсена из себя представляет, откуда оно вообще берется и что значит. У вас функция $\varphi = \varphi(x)$ строго выпуклая вниз. Чтобы получить это неравенство, вы рассматриваете прямую $L(x) = a+bx$, касающуюся функции $\varphi = \varphi(x)$ в точке $x=\mathbf{E}(\xi)$. И получаете таким образом $\varphi(x) \ge L(x)$. Но дальше-то вы берете, грубо говоря, интеграл, или сумму, когда считаете мат. ожидание. И тут-то у вас сразу возникает $\mathbf{E}\varphi(\xi) > \mathbf{E}L(\xi)$, потому что есть реализации случайной величины $\xi$, когда $\varphi(x) > L(x)$, имеющие ненулевые вероятности. Так что в данном случае, для мат. ожиданий неравенство-таки строгое, так как функция строго выпуклая.

[Nyanfox]

ShMaxG
Спасибо, вроде понял.
А что насчёт эффективности? Каким образом разобраться с ней?

[ShMaxG]

Ну, тут можно вспомнить, что эффективная оценка может существовать только для одной определенной параметрической функции неизвестного параметра $\tau(\theta)$ и не существует ни для какой другой функции параметра $\theta$, отличной от $a\tau(\theta)+b$, где $a$ и $b$ -- константы. При этом в модели $\text{NB}(r,\theta)$ для функции $\tau(\theta)=\frac{1-\theta}{\theta}$ эффективной оценкой является $\[{{\bar X} \mathord{\left/ {\vphantom {{\bar X} r}} \right. \kern-\nulldelimiterspace} r}\]$, такие дела.

Но если задача стоит проверить оценку на эффективность, именно вычисляя дисперсию, то тут я пока ничем помочь не могу, это какое-то извращение на первый (да и на второй и на третий) взгляд, возиться со всеми этими бесконечными суммами непонятными...

[Nyanfox]

ShMaxG в сообщении #882814 писал(а):

При этом для модели $\text{NB}(r,\theta)$ функция $\tau(\theta)=\frac{\theta}{1-\theta}$ эффективной оценкой является $\[{{\bar X} \mathord{\left/ {\vphantom {{\bar X} r}} \right. \kern-\nulldelimiterspace} r}\]$, такие дела.

Спасибо, полезная информация, однако как её можно вывести?

[ShMaxG]

Nyanfox в сообщении #882823 писал(а):

Спасибо, полезная информация, однако как её можно вывести?

А это очень просто, и снова никаких сложных сумм. Сначала запишите функцию правдоподобия для вашей модели $\text{NB}(r,\theta)$. Найдите вклад выборки $V(x|\theta)$. И то, что получите, запишите просто в виде

$$T(x) - \tau(\theta) = a(\theta)V(x|\theta)$$

Тогда ваша $T(X)$ -- искомая статистика (среднее делить на r), а $\tau(\theta)$ -- искомая параметрическая функция

И вообще, полезно помнить, что отрицательное биномиальное распределение относится к так называемому семейству экспоненциальных моделей. Они обладают рядом приятных свойств, и для них известны в общем случае формулы получения эффективных статистик и соответствующих параметрических функций. Можете глянуть, например, в учебнике Ивченко и Медведева в разделе про неравенство Рао-Крамера.

[ShMaxG]

Я там поправил, в числителе $1-\theta$ стоит, конечно; $\tau(\theta) = \frac{1-\theta}{\theta}$.

[Nyanfox]

ShMaxG
Огромное спасибо! Я почти разобрался. Нашёл книгу, затем вклад выборки:
$U(X;p)=\frac{\delta lnL}{\delta p}=\frac{2n}{p}-\frac{\sum\limits_{i=1}^{n} X_i}{1-p}$

В книге нашёл:

$$U(X;p)=A'(p)\sum\limits_{i=1}^{n} B(X_i)+nC'(p),\quad T(X)=\frac{1}{n}\sum\limits_{i=1}^{n} B(X_i),\quad \tau(p)=-\frac{C'(p)}{A'(p)}, \quad a(p)=\frac{1}{nA'(p)}$$

Отсюда:

$$A'(p)=-\frac{1}{1-p},\quad B(X_i)=\sum\limits_{i=1}^{n} X_i, \quad C'(p)=\frac{2}{p}$$ $$T(X)=\bar{X}, \quad \tau(p)=\frac{2(1-p)}{p}, \quad a(p)=\frac{p-1}{n}$$

Т.е. получается не совсем то. Причём, если дополнительно выносить 2-ку (параметр $r$) в $a(p)$, тогда всё будет как надо:

$$U(X;p)=\frac{n}{p-1}\left(\bar{X}-\frac{2(1-p)}{p}\right),\quad U(X;p)=\frac{2n}{p-1}\left(\frac{\bar{X}}{2}-\frac{1-p}{p}\right)$$

Почему так?

[ShMaxG]

$C'(p)=\frac{nr}{p}$

Ну так правильно, как я сказал, статистика и оценка определены с точностью до коэффициента и свободного слагаемого. Действительно, у вас в той самой экспоненте было слагаемое $\[{\ln \left( {1 - p} \right){S_n}}\]$, и можно было не только выбрать $A(p)=\ln{(1-p)}$, но и $A(p)=r \ln{(1-p)}$, выбирая соответствующий $B(x)$. С этими формулами можно не возиться, а просто взять вклад и самостоятельно по-преобразовывать его до нужных выражений.

[Nyanfox]

ShMaxG
Итак, т.е. в итоге мне написать, что ОМП (и ОММ) не являются эффективными, т.к. их нельзя представить в виде $\bar{X}/r$ с точностью до коэффициента и свободного слагаемого?

[ShMaxG]

... так как нельзя представить в виде $a \bar X + b$, где $a$ и $b$ -- числа (не зав. от $X$). Да, если кратко. А до какой степени детализации это вам надо (кому-то быть может) пояснять -- не знаю

-- Вт июл 01, 2014 22:49:17 --

Задача вообще мне понравилась. Дам ее своим студентам осенью. Помогает формировать привычку не лезть в дебри формул (т.е. быть достаточно ленивым, чтобы не делать лишних действий), а почитать про известные свойства оценок и распределений. Смотрите, сколько всего вылезло здесь.

[Nyanfox]

ShMaxG
Хорошо, ещё раз спасибо. Последний вопрос касательно эффективности: что, если в задании нужно сравнить точность различных оценок с помощью асимптотических дисперсий? Формула $e(T_n,\check{p})=\frac{1}{i(\check{p})D[T_n]}$ должна быть как раз об этом, так? Хотелось бы ещё уточнить, $T_n$ - это достаточная статистика?

-- 01.07.2014, 23:53 --

(Оффтоп)

Ох, как студенты обрадуются - обещаю. Если они эту тему не нагуглят, разумеется.

-- 02.07.2014, 00:10 --

Постойте-ка... Т.е. получается, что $\bar{X}/r$ является эффективной оценкой для $\tau(p)=\frac{1-p}{p}$, так? Тогда

$$\check{\tau(p)}=\frac{\bar{X}}{r},\quad \frac{1-\check{p}}{\check{p}}=\frac{\bar{X}}{r}, \quad \check{p}=\frac{r}{r+\bar{X}}$$

или я неправ?

[ShMaxG]

А что такое асимптотическая дисперсия? Вот если статистика $T_n$ асимптотически нормальная, то по определению $\[{T_n}\left( X \right)\]$ распределена "примерно как" $\[N\left( {\tau \left( \theta \right),\frac{{\sigma _T^2\left( \theta \right)}}{n}} \right)\]$. Вы называете асимптотической дисперсией $\[{\sigma _T^2\left( \theta \right)}\]$? Ну вот тогда их просто и надо сравнивать.

Nyanfox в сообщении #882923 писал(а):

Т.е. получается, что $\bar{X}/r$ является эффективной оценкой для $\tau(p)=\frac{1-p}{p}$, так? Тогда

$$\check{\tau(p)}=\frac{\bar{X}}{r},\quad \frac{1-\check{p}}{\check{p}}=\frac{\bar{X}}{r}, \quad \check{p}=\frac{r}{r+\bar{X}}$$

или я неправ?

Если вы под обратной крышкой понимаете эффективность, то это неверно, так как тогда вы неявно считаете, что эффективная оценка функции от параметра есть та же функция от эффективной оценки самого параметра. Это неверно вообще говоря. Я же говорил, что для фиксированной статистической модели может существовать только одна (с точностью до линейного преобразования) параметрическая функция, для которой может существовать эффективная оценка. Двух совершенно разных параметрических функций со своими эффективными оценками в рамках одной модели не существует.

Но смотрите, что вы на самом деле сделали. Ведь мы поняли, что $\bar X / r$ -- эффективная оценка $\tau(\theta)$. Значит это ОМП (легко доказываемая теорема). А значит (в силу принципа инвариантности ОМП) $\[\hat \tau \left( \theta \right) = \tau \left( {\hat \theta } \right) = \frac{{1 - \hat \theta }}{{\hat \theta }}\]$. Крышечка означает ОМП. Это так, потому что функция $\tau = \tau(\theta)$ взаимно однозначная. Далее вы выражаете $\[{\hat \theta }\]$ и получаете выражение. Получается, что вы таким образом получили ОМП для $\theta$! Но это не значит, что вы получили эффективную оценку. Эффективная оценка является ОМП. Но не наоборот. Если дана ОМП, то не факт, что она эффективная.