Дисперсия условного мат. ожидания

[Blendamed]

Пусть $X^{(1)}, X^{(2)}$ случайные векторы с совместным распределением.

Я не знаю, как лучше представить следующее выражение: $\mathsf{D}[\mathsf{E}(X^{(1)}|X^{(2)})]$.

Возможно ли воспользоваться тем фактом, что УМО это проекция, т.е. $\mathsf{E}(X^{(1)}|X^{(2)}) = AX^{(2)} + b?$ Я думаю, что нет.

Это нужно для доказательства такого неравенства:

$Q_{12}Q_{22}^{-1}Q_{21} \leq \mathsf{D}[\mathsf{E}(X^{(1)}|X^{(2)})]$, где

$Q_{ij}=\mathsf{E}(X^{(i)} - \mathsf{E}X^{(i)})(X^{(j)} - \mathsf{E}X^{(j)})^T , i,j = 1,2.$

Можете что-нибудь подсказать?

[--mS--]

Blendamed в сообщении #1079765 писал(а):

Возможно ли воспользоваться тем фактом, что УМО это проекция, т.е. $\mathsf{E}(X^{(1)}|X^{(2)}) = AX^{(2)} + b?$ Я думаю, что нет.

Вы имеете в виду совместное нормальное распределение?

Вообще, на мой взгляд, вместо неравенства в этом случае имеет место равенство. Выражение для коэффициента $A$ Вам должно быть известно: $A=Q_{12}Q_{22}^{-1}$. Вот и сосчитайте ковариационную матрицу вектора $AX^{(2)} +b$.

[Blendamed]

--mS--, в общем случае не предполагается, что нормальное, поэтому должно быть как раз-таки неравенство, но если и только если УМО -- регрессия $X^{(1)}$ по $X^{(2)}$ (линейная по $X^{(2)}$ функция, т.е. видимо то же, что и нормальное распределение дает), то должно получиться равенство.

Я бы сказал, что $A = Q_{12}Q_{22}^{-1/2} в этом случае.$

Но если все-таки рассматривать общий случай, возможно ли пользоваться тем соотношением на УМО, которое я написал (вектор $b$ будет каким-нибудь случайным)?

[Blendamed]

А, нет, $A = Q_{12}Q_{22}^{-1}$, действительно.

[--mS--]

Blendamed в сообщении #1079882 писал(а):

Но если все-таки рассматривать общий случай, возможно ли пользоваться тем соотношением на УМО, которое я написал (вектор $b$ будет каким-нибудь случайным)?

Конечно, нет. Условное математическое ожидание не есть, вообще говоря, линейная функция от условия. Например, УМО $\mathsf E(X^2|X)=X^2$ п.н. (где $X$ - случайная величина с конечным вторым моментом).

Следует пользоваться свойствами УМО $\hat{X}=\mathsf E(X^{(1)}|X^{(2)})$. Например, в одномерном случае неравенство легко следует из того, что:
1) $X^{(1)}-\hat{X}$ ортогонально любой измеримой функции с конечным вторым моментом от вектора $X^{(2)}$. В частности, $\mathsf E\left((X^{(1)}-\hat{X})(X^{(2)}-\mathsf EX^{(2)})\right)=0$.
2)

$$\mathsf DX^{(1)}=\mathsf E(X^{(1)}-\mathsf EX^{(1)})^2=\mathsf E(X^{(1)}-\hat X + \hat X-\mathsf EX^{(1)})^2=$$

$$=\mathsf E(X^{(1)}-\hat X)^2 + \mathsf E(\hat X-\mathsf EX^{(1)})^2=\mathsf E(X^{(1)}-\hat X)^2 + \mathsf E(\hat X-\mathsf E\hat X)^2 \geq \mathsf D\hat X.$$

Поэтому $\textrm{cov}^2(X^{(1)}, X^{(2)})\leq \mathsf DX^{(1)}\mathsf DX^{(2)}\leq \mathsf D\hat X\cdot \mathsf DX^{(2)}.$ А это и есть нужное неравенство.

[Blendamed]

--mS--, вы же получили, что $\mathsf D \hat{X} \leq\mathsf D X^{(1)}\, тогда переход в последнем неравенстве неверный, по-моему.

[--mS--]

Ой, правда, прошу прощения. Ну тогда всё куда проще: По первому из свойств УМО, $\mathsf E((X^{(1)}-\hat X)X^{(2)})=0$, а это означает, что

$$\mathsf E(X^{(2)}\cdot \hat X) = \mathsf E(X^{(2)}\cdot X^{(1)}),$$

поэтому ковариации $\textrm{cov}(X^{(1)}, X^{(2)})$ и $\textrm{cov}(\hat X, X^{(2)})$ просто совпадают. И можно неравенство Коши - Буняковского применить не к первой, а ко второй ковариации.

$$\textrm{cov}(X^{(1)}, X^{(2)}) = \textrm{cov}^2(\hat X, X^{(2)})\leq \mathsf D\hat X \cdot \mathsf DX^{(2)}.$$

[Blendamed]

--mS--, понял, спасибо!