QS

[vlad_light]

Статья: http://www.mechmat.univ.kiev.ua/eng/ppa ... jspi_3.pdf
На стр. 8 написано:

Цитата:

$$S_Q(x,y;\theta )=\frac{y-m}{v}\cdot\frac{\partial m}{\partial \theta}+l_\theta$$

is obviously unbiased (i.e. $ES_Q=0$).

А вот мне не понятно, почему она несмещенная.

$$l=\ln\rho (x;\theta )=\ln (\frac{1}{\sqrt{2\pi\sigma ^2}}\exp (-\frac 12\frac{(x-\mu )^2}{\sigma ^2}))$$

Тогда

$$\frac{\partial \ln\rho}{\partial \sigma ^2}(x;\theta )=\frac{1}{\rho (x;\theta )}(\frac{1}{\sqrt{2\pi}}(-\frac{1}{2})\frac{1}{\sqrt{\sigma ^2}}\frac{1}{\sigma ^2})\exp (-\frac 12\frac{(x-\mu )^2}{\sigma ^2})+\frac{1}{\sqrt{2\pi\sigma ^2}}\exp (-\frac 12\frac{(x-\mu )^2}{\sigma ^2})(-\frac 12)(x-\mu )^2(-\frac{1}{{\sigma ^2}^2})=$$

$$=\frac{1}{\rho (x;\theta )}(-\frac 12\rho (x;\theta )\frac{1}{\sigma ^2}+\rho (x;\theta )\frac 12(\frac{(x-\mu)}{\sigma ^2})^2)=\frac{1}{2\sigma ^2}(\frac 12(\frac{(x-\mu)^2}{\sigma ^2}) -1)\to-\frac{1}{2\sigma ^2},x\to\mu$$

Тогда почему она несмещённая?

[--mS--]

Матожидание первой производной от логарифма плотности для любого регулярного семейства равно нулю. См., например, формулу (10) вот тут: http://www.nsu.ru/mmf/tvims/chernova/ms ... TION000430 или любые иные источники, где доказано неравенство Рао - Крамера.

Если хочется проверить, то эти вычисления выбросить, а плотность сначала прологарифмировать, а уже потом дифференцировать.

(Оффтоп)

У нас со студентами то, что Вы сейчас проделали, является бородатым анекдотом: сначала взять логарифм, чтоб произведение превратить в сумму, а потом дифференцировать как

$$\frac{\partial}{\partial \theta}\ln\left(\prod f_\theta(X_i)\right) = \frac{1}{\prod f_\theta(X_i)}\frac{\partial}{\partial \theta}\left(\prod f_\theta(X_i)\right).$$

[vlad_light]

Цитата:

плотность сначала прологарифмировать, а уже потом дифференцировать

А какая разница?

$$\frac{\partial }{\partial \sigma ^2}\ln (\frac{1}{\sqrt{2\pi\sigma ^2}}\exp (-\frac 12\frac{(x-\mu )^2}{\sigma ^2}))=\frac{\partial }{\partial \sigma ^2}(\ln \frac{1}{\sqrt{2\pi}}+\ln\frac{1}{\sqrt{\sigma ^2}}-\frac 12\frac{(x-\mu )^2}{\sigma ^2})=$$

$$=\sqrt {\sigma ^2}(-\frac 12(\sigma ^2)^{-\frac 32})+(-\frac 12(x-\mu )^2\frac{-1}{{\sigma ^2}^2})\to -\frac{1}{2\sigma ^2}, x\to\mu$$

(Оффтоп)

Так у вас же там есть буква П, а у меня её нет. Для одного слагаемого можно и по-честному посчитать

[--mS--]

Что за предел вычисляется и зачем? Вместо вычисления матожидания.

[vlad_light]

Решил сжульничать: $E(x-\mu )^2=(E(x-\mu ))^2$, но не тут-то было Простите, но кто, как не Вы, укажет мне на мои глупости?

[--mS--]

Не поняла. Вы убедились, что матожидание нулевое, как и должно быть всегда?

[vlad_light]

Да, всё получилось, спасибо!
Теперь у меня следующий вопрос: пусть имеется система:

$$\begin{cases} Y=\sum\limits _{j=0}^n\beta _j\xi ^j +\varepsilon\\ X=\xi + \delta\\ \end{cases}$$

Также есть две функции:

$$q_1 (x,y;\theta _1)=\frac{y-m(x)}{v(x)}\frac{\partial m(x)}{\partial \theta _1}$$

$$q_2 (x,y;\theta _2)=\frac{y-m(x)}{v(x)}\frac{\partial m(x)}{\partial \theta _2}+\frac{\partial\ln f_X}{\partial \theta _2}$$

где $m(x)=E(Y|X)$, $v(x)=D(Y|X)$, $f_X$ - плотность $X$, $\theta _1 =(\beta _0,...,\beta _n)$, $\theta _2 =(\mu ,\sigma ^2,\beta _0,...,\beta _n)$.
Нужно доказать (или опровергнуть), что при $n\geq 2$ (то, что сверху) следующие системы эквивалентны:

$$\begin{cases} \sum\limits _{i=1}^N q_2(X_i,Y_i;\theta _2)=0\\ \end{cases}\text {и } \begin{cases} \mu =\frac 1N\sum\limits _{i=1}^NX_i\\ \sigma ^2=\frac {1}{N-1}\sum\limits _{i=1}^N(X_i-\mu )^2-\sigma ^2_\delta\\ \sum\limits _{i=1}^Nq_1(X_i,Y_i;\theta _1)=0\\ \end{cases}$$

Мои рассуждения:
Эти системы имеют одинаковые $n+1$ уравнение. Причём эти уравнения линейно независимы (существуют решения $\beta _k=\beta _k (\mu ,\sigma ^2), k=\overline {0,n}$). Значит, если мы подставим $\mu$ и $\sigma ^2$ из правого уравнения в левое, то его ранг уменьшится на 2, т.е. 1-ое и 2-ое уравнения будут линейно зависимы с какими-то из остальных $n+1$ уравнений. Я на правильном пути или так это доказать не получится?

[--mS--]

Вот откровенно говоря, нет ни малейшего желания вникать в чужие статьи, кроме тех, которые мне реально нужны.

[vlad_light]

Верю! Тогда буду стараться задавать вопросы более конкретные, не привязанные к какой-либо статье.