Условная вероятность и ковариационная матрица

[ipavero]

Пожалуйста, помогите разрешить сложность.
Имеем трёхмерный вектор $\mathrm{(Y, X, Z)}$ нормального распределения с нулевым матожиданием, и с матрицей дисперсий-ковариаций

$$\begin{bmatrix} 1\, 0\, \alpha \\ 0\, 1\, \beta \\ \alpha\, \beta\, 1 \end{bmatrix}$$

Дальше автор пишет, что очевидно, что:
$\mathrm{E(Y|X) = 0}$ и $\mathrm{E(Y|X,Z) = $\dfrac{-\alpha\beta}{1-\beta^2}$X + $\dfrac{\alpha}{1-\beta^2}$Z}$

Для меня это оказалось не вполне очевидным. Скажите, как он из ковариационной матрицы получил условное матожидание?

Вообще речь шла о моделях VAR, но там уравнения были связаны через ошибки, которые в свою очередь связаны через ковариационную матрицу. Как быть в случае с просто трёхмерным вектором не понятно.

[profrotter]

А что такое эта самая матрица дисперсий-ковариаций? Интересно, можно ли сразу что-нибудь сказать о ковариации $X$ и $Y$?

[ipavero]

Это матрица $\mathrm{(3 x 3)}$, в которой на позиции $\mathrm{(i,i)}$ стоят дисперсии, на любой другой - ковариации между элементами тройки

[profrotter]

И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?

[Евгений Машеров]

По обычным формулам регрессионного анализа. С учётом заданной центрированности и нормированности переменных. Причём обращали, как видно, по Крамеру.

[ipavero]

profrotter в сообщении #966648 писал(а):

И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?

что речь идёт о гаусовском белом шуме?
или
нулевое матожидание, одинаковые дисперсии, но есть ковариация между с.в. вектора, значит они не ортогональны. можно попробовать сделать их ортогональными? Я немного плаваю здесь и не получается суждения строить больше, чем на 1 шаг вперёд. Подтолкните меня ещё, пожалуйста.

Евгений Машеров в сообщении #966666 писал(а):

По обычным формулам регрессионного анализа. С учётом заданной центрированности и нормированности переменных. Причём обращали, как видно, по Крамеру.

Вы не могли бы, пожалуйста, прислать какую-нибудь ссылку?


Я могу Вас ещё попросить посоветовать литературу: у меня куча пробелов и я из-за них страдаю.

-- 22.01.2015, 13:57 --

profrotter в сообщении #966648 писал(а):

И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?

Если средние равны нулю, тогда ковариация на любом $\mathrm{(i,j)}$ элементе матрицы кроме диагонали будет рассчитываться как матожидание произведения элементов вектора

Простите за тугодумие, но как это свяжется с условным матожиданием? Можно предположить, что когда мы пишем $\mathrm{E(Y| X,Z)}$ имеется введу регрессия элемента $\mathrm{Y}$ по элементами $\mathrm{X}$ и $\mathrm{Z}$, но яснее в этом месте пока не стало

Ещё матрица диагональная и симметричная, то её можно разложить по типу
$\Sigma = A'A$

[Евгений Машеров]

Ну, вот у нас обычная регрессия $u=Ab+\varepsilon$
Оценка вектора коэффициентов $\hat{b}=(A^TA)^{-1}A^Tu$
Если u соответствует X, а матрица A образована Y и Z, то все элементы выражения у нас, собственно, уже даны, остаётся только матрицу обратить.

[ipavero]

Евгений Машеров в сообщении #966773 писал(а):

Ну, вот у нас обычная регрессия $u=Ab+\varepsilon$
Оценка вектора коэффициентов $\hat{b}=(A^TA)^{-1}A^Tu$
Если u соответствует X, а матрица A образована Y и Z, то все элементы выражения у нас, собственно, уже даны, остаётся только матрицу обратить.

простите, я тогда, наверное, не совсем понимаю смысл ковариационной матрицы
нам нужно получить условное матожидание $\mathrm{Y}$ по $\mathrm{X}$ и $\mathrm{Z}$, то есть, фактически, регрессию $\mathrm{Y}$ по $\mathrm{X}$ и $\mathrm{Z}$. Коэффициенты, $\mathrm{A}$, нам не даны, но дана ковариационная матрица, которая в случае средних, равных нулю, в общем виде будет такой:

$$\begin{bmatrix} E(X^2) \; E(XY)\; E(XZ) \\ E(YX)\; E(Y^2) \; E(YZ) \\ E(ZX)\; E(ZY)\; E(Z^2) \end{bmatrix}$$

Простите за глупые вопросы, но как это связывается с матрицей коэффициентов $\mathrm{A}$?

[Евгений Машеров]

В использованных мной выше обозначениях матрица А составлена из двух столбцов, равных Y и Z. При этом газовая плита зажжена, вода в кастрюле и кипит у нас уже вычислены и то, что надо обращать, и то, на что умножается обратная матрица.

[--mS--]

ipavero в сообщении #966789 писал(а):

$$\begin{bmatrix} E(X^2) \; E(XY)\; E(XZ) \\ E(YX)\; E(Y^2) \; E(YZ) \\ E(ZX)\; E(ZY)\; E(Z^2) \end{bmatrix}$$

Осторожно, у Вас в условии координаты в другом порядке: $Y,X,Z$! Судя по ответу, в таком порядке они и есть.

[Lia]

Евгений Машеров
Буковки оформляем. Это займет два лишних символа, всего лишь.

[--mS--]

И можно пять копеек от человека, у которого идиосинкразия к эконометрике?

Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.

По определению УМО, $\mathsf E(Y|X,Z) = f(X,Z)$ п.н., где $f$ - борелевская функция такая, что для любой (почти, с бесконечными матожиданиями не предлагать) борелевской функции $h(X,Z)$ выполнено

$$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$

При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н. Подставляя в тождество выше вместо $h(X,Z)$ сначала $X$, потом $Z$, получим пару уравнений:

$$\begin{cases}0=a+b\beta, \\ \alpha=a\beta+b\end{cases} \quad \LeftRightarrow \begin{cases}a=-\dfrac{\alpha\beta}{1-\beta^2},\\ b=\dfrac{\alpha}{1-\beta^2}.\end{cases}$$

[ipavero]

--mS-- в сообщении #966810 писал(а):

Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.

При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н. Подставляя в тождество выше вместо $h(X,Z)$ сначала $X$, потом $Z$, получим пару уравнений:

$$\begin{cases}0=a+b\beta, \\ \alpha=a\beta+b\end{cases} \quad \LeftRightarrow \begin{cases}a=-\dfrac{\alpha\beta}{1-\beta^2},\\ b=\dfrac{\alpha}{1-\beta^2}.\end{cases}$$

это самое приятное, что я слышал на этой неделе
спасибо огромное!

-- 22.01.2015, 15:35 --

нужно отрефлексировать теперь

-- 22.01.2015, 16:17 --

уважаемая --mS--, спасибо за Ваш ответ. Если Вам не сложно, у меня осталось ещё несколько вопросов

1.

--mS-- в сообщении #966810 писал(а):

Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.

Как вы поняли это по диагональному верхнему минору? Если я правильно понимаю, этот минор будет таким:

$$\begin{bmatrix} 1 \quad \beta \\ \beta \quad 1 \\ \end{bmatrix}$$

Если, с другой сторон, исходить из предложенного Вами определения

$$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$

то, подставляя вместо $\mathrm{h(X,Z)}$ с.в. $\mathrm{X}$, получим $\mathrm{E(YX) = aE(X^2)}$, из матрицы ковариаций имеем: $\mathrm{0 = a1}$, то есть $\mathrm{a = 0}$, значит $\mathrm{X}$ и $\mathrm{Y}$ независимы?


2.
Более общий и более глупый вопрос:

--mS-- в сообщении #966810 писал(а):

По определению УМО, $\mathsf E(Y|X,Z) = f(X,Z)$ п.н., где $f$ - борелевская функция такая, что для любой (почти, с бесконечными матожиданиями не предлагать) борелевской функции $h(X,Z)$ выполнено

$$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$

Если в первом равенстве у нас условное математическое ожидание, которое, по определению, равно функции от "условий", то как мы во втором равенстве получаем безусловное математическое ожидание той же величины, умноженное на произвольную функцию? От меня ускользает суть того, как мы это делаем.

3.

--mS-- в сообщении #966810 писал(а):

При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н.

Скажите, что было бы, если бы вектор был распределён произвольно и/или со средними, отличными от нуля.

4.
Как Вы видите, у меня много пробелов. Вы не могли бы посоветовать книгу или автора, к которому следует обратиться?

[_hum_]

(del)

[provincialka]

ipavero в сообщении #966819 писал(а):

Как вы поняли это по диагональному верхнему минору? Если я правильно понимаю, этот минор будет таким:

$$\begin{bmatrix} 1 \quad \beta \\ \beta \quad 1 \\ \end{bmatrix}$$

У вас странные пространственные представления... Верхним будет минор

$$\begin{bmatrix} 1 \quad 0 \\ 0 \quad 1 \\ \end{bmatrix}$$