Информация Фишера

[Юстас]

Классическая задача по статистике: пусть имеется некоторое параметрическое семейство плотностей(относительно меры Лебега) $p_{\theta}, \ \theta\in \mathbb R$, и пусть $X$ имеет распределение из этого семейства. Определим информацию Фишера как

$$I(X;\theta):=\mathbb E\bigl(\frac{\partial}{\partial\theta}\log p_{\theta}(X) \bigr)^2= \int_{\mathbb R}\frac{\bigr(\frac{\partial}{\partial\theta}p_{\theta}(x)\bigr)^2}{p_{\theta}(x)}dx$$

Для некоторого измеримого $T$ определим $Y=T(X)$. Докажите, что $I(Y;\theta)\leq I(X;\theta)$(предполагаем, что семейство плотностей регулярно, т.е. можно вносить дифференцирование под знак интеграла, и что у $Y$ существует плотность).

[--mS--]

(уже можно писать решение?)

Пусть (сорри, я уж буду пользовать обозначения из детства и знаки матожидания тоже :)) $L_X(\theta)=\ln p_{\theta}(X)$, $L_Y(\theta)=\ln q_{\theta}(Y)$, где $q_\theta(Y)$ - плотность $Y$.
При любом $\theta$ для любой статистики $S$ с дисперсией, ограниченной на компактах в области $\Theta$, выполнено равенство

$$(\mathsf ES(X))^\prime = \mathsf E\left(S\cdot L^\prime_X(\theta)\right)$$

(штрихи - производные по параметру), и такое же равенство выполнено для $L_Y(\theta)$).
Возьмем $S(X) = I(T(X)\in B)=I(Y\in B)$ для некоторого (произвольного) борелевского $B$, получим равенство

$$ \mathsf E L^\prime_X(\theta)I(Y\in B) = (\mathsf P(Y\in B))^\prime = \mathsf E L^\prime_Y(\theta)I(Y\in B). $$

Это равенство, выполненное при всяком $\theta$ для любого $B$, означает, что $\mathsf E(L^\prime_X(\theta)~ |~ Y) = L^\prime_Y(\theta)$ п.н.

Собственно, и всё. Остальное (что взятие УМО уменьшает дисперсию) показывается как обычно.