2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки
01/01/18 20:50 UTC: Перешли на HTTPS в тестовом режиме. О проблемах пишите в ЛС cepesh.



Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 08:13 


22/01/15
7
Пожалуйста, помогите разрешить сложность.
Имеем трёхмерный вектор $\mathrm{(Y, X, Z)}$ нормального распределения с нулевым матожиданием, и с матрицей дисперсий-ковариаций
$$\begin{bmatrix}
 1\,   0\,  \alpha \\
 0\,   1\,  \beta \\
 \alpha\,   \beta\,  1 
\end{bmatrix}$$
Дальше автор пишет, что очевидно, что:
$\mathrm{E(Y|X) = 0}$ и $\mathrm{E(Y|X,Z) = $\dfrac{-\alpha\beta}{1-\beta^2}$X + $\dfrac{\alpha}{1-\beta^2}$Z}$

Для меня это оказалось не вполне очевидным. Скажите, как он из ковариационной матрицы получил условное матожидание?

Вообще речь шла о моделях VAR, но там уравнения были связаны через ошибки, которые в свою очередь связаны через ковариационную матрицу. Как быть в случае с просто трёхмерным вектором не понятно.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 10:07 
Модератор
Аватара пользователя


16/02/11
3516
Бурашево
А что такое эта самая матрица дисперсий-ковариаций? Интересно, можно ли сразу что-нибудь сказать о ковариации $X$ и $Y$?

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 10:29 


22/01/15
7
Это матрица $\mathrm{(3 x 3)}$, в которой на позиции $\mathrm{(i,i)}$ стоят дисперсии, на любой другой - ковариации между элементами тройки

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 10:32 
Модератор
Аватара пользователя


16/02/11
3516
Бурашево
И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 11:11 
Заслуженный участник
Аватара пользователя


11/03/08
5626
Москва
По обычным формулам регрессионного анализа. С учётом заданной центрированности и нормированности переменных. Причём обращали, как видно, по Крамеру.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 15:44 


22/01/15
7
profrotter в сообщении #966648 писал(а):
И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?


что речь идёт о гаусовском белом шуме?
или
нулевое матожидание, одинаковые дисперсии, но есть ковариация между с.в. вектора, значит они не ортогональны. можно попробовать сделать их ортогональными? Я немного плаваю здесь и не получается суждения строить больше, чем на 1 шаг вперёд. Подтолкните меня ещё, пожалуйста.

Евгений Машеров в сообщении #966666 писал(а):
По обычным формулам регрессионного анализа. С учётом заданной центрированности и нормированности переменных. Причём обращали, как видно, по Крамеру.


Вы не могли бы, пожалуйста, прислать какую-нибудь ссылку?


Я могу Вас ещё попросить посоветовать литературу: у меня куча пробелов и я из-за них страдаю.

-- 22.01.2015, 13:57 --

profrotter в сообщении #966648 писал(а):
И какая ковариация между $X$ и $Y$? И что можно тогда о них сказать, учитывая, что они центрированые и совместо-гауссовы?


Если средние равны нулю, тогда ковариация на любом $\mathrm{(i,j)}$ элементе матрицы кроме диагонали будет рассчитываться как матожидание произведения элементов вектора

Простите за тугодумие, но как это свяжется с условным матожиданием? Можно предположить, что когда мы пишем $\mathrm{E(Y| X,Z)}$ имеется введу регрессия элемента $\mathrm{Y}$ по элементами $\mathrm{X}$ и $\mathrm{Z}$, но яснее в этом месте пока не стало

Ещё матрица диагональная и симметричная, то её можно разложить по типу
$\Sigma = A'A$

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:07 
Заслуженный участник
Аватара пользователя


11/03/08
5626
Москва
Ну, вот у нас обычная регрессия $u=Ab+\varepsilon$
Оценка вектора коэффициентов $\hat{b}=(A^TA)^{-1}A^Tu$
Если u соответствует X, а матрица A образована Y и Z, то все элементы выражения у нас, собственно, уже даны, остаётся только матрицу обратить.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:27 


22/01/15
7
Евгений Машеров в сообщении #966773 писал(а):
Ну, вот у нас обычная регрессия $u=Ab+\varepsilon$
Оценка вектора коэффициентов $\hat{b}=(A^TA)^{-1}A^Tu$
Если u соответствует X, а матрица A образована Y и Z, то все элементы выражения у нас, собственно, уже даны, остаётся только матрицу обратить.


простите, я тогда, наверное, не совсем понимаю смысл ковариационной матрицы
нам нужно получить условное матожидание $\mathrm{Y}$ по $\mathrm{X}$ и $\mathrm{Z}$, то есть, фактически, регрессию $\mathrm{Y}$ по $\mathrm{X}$ и $\mathrm{Z}$. Коэффициенты, $\mathrm{A}$, нам не даны, но дана ковариационная матрица, которая в случае средних, равных нулю, в общем виде будет такой:
$$\begin{bmatrix}
 E(X^2) \; E(XY)\; E(XZ) \\
 E(YX)\; E(Y^2) \; E(YZ) \\
 E(ZX)\;  E(ZY)\; E(Z^2)
\end{bmatrix}$$

Простите за глупые вопросы, но как это связывается с матрицей коэффициентов $\mathrm{A}$?

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:32 
Заслуженный участник
Аватара пользователя


11/03/08
5626
Москва
В использованных мной выше обозначениях матрица А составлена из двух столбцов, равных Y и Z. При этом газовая плита зажжена, вода в кастрюле и кипит у нас уже вычислены и то, что надо обращать, и то, на что умножается обратная матрица.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:35 
Заслуженный участник
Аватара пользователя


23/11/06
3902
ipavero в сообщении #966789 писал(а):
$$\begin{bmatrix}
 E(X^2) \; E(XY)\; E(XZ) \\
 E(YX)\; E(Y^2) \; E(YZ) \\
 E(ZX)\;  E(ZY)\; E(Z^2)
\end{bmatrix}$$

Осторожно, у Вас в условии координаты в другом порядке: $Y,X,Z$! Судя по ответу, в таком порядке они и есть.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:40 
Модератор


20/03/14
7804
 !  Евгений Машеров
Буковки оформляем. Это займет два лишних символа, всего лишь.

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 16:51 
Заслуженный участник
Аватара пользователя


23/11/06
3902
И можно пять копеек от человека, у которого идиосинкразия к эконометрике?

Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.

По определению УМО, $\mathsf E(Y|X,Z) = f(X,Z)$ п.н., где $f$ - борелевская функция такая, что для любой (почти, с бесконечными матожиданиями не предлагать) борелевской функции $h(X,Z)$ выполнено $$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$ При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н. Подставляя в тождество выше вместо $h(X,Z)$ сначала $X$, потом $Z$, получим пару уравнений:
$$\begin{cases}0=a+b\beta, \\ \alpha=a\beta+b\end{cases} \quad \LeftRightarrow \begin{cases}a=-\dfrac{\alpha\beta}{1-\beta^2},\\ b=\dfrac{\alpha}{1-\beta^2}.\end{cases}$$

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 17:22 


22/01/15
7
--mS-- в сообщении #966810 писал(а):

Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.

При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н. Подставляя в тождество выше вместо $h(X,Z)$ сначала $X$, потом $Z$, получим пару уравнений:
$$\begin{cases}0=a+b\beta, \\ \alpha=a\beta+b\end{cases} \quad \LeftRightarrow \begin{cases}a=-\dfrac{\alpha\beta}{1-\beta^2},\\ b=\dfrac{\alpha}{1-\beta^2}.\end{cases}$$


это самое приятное, что я слышал на этой неделе
спасибо огромное!

-- 22.01.2015, 15:35 --

нужно отрефлексировать теперь

-- 22.01.2015, 16:17 --

уважаемая --mS--, спасибо за Ваш ответ. Если Вам не сложно, у меня осталось ещё несколько вопросов

1.
--mS-- в сообщении #966810 писал(а):
Судя по диагональному верхнему минору ковариационной матрицы, из нормальности распределения вектора следует, что его координаты $Y$ и $X$ независимы. По свойствам УМО $\mathsf E(Y|X)=\mathsf EY=0$.


Как вы поняли это по диагональному верхнему минору? Если я правильно понимаю, этот минор будет таким:
$$\begin{bmatrix}
 1 \quad  \beta \\
 \beta \quad  1 \\
\end{bmatrix}$$

Если, с другой сторон, исходить из предложенного Вами определения $$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$ то, подставляя вместо $\mathrm{h(X,Z)}$ с.в. $\mathrm{X}$, получим $\mathrm{E(YX) = aE(X^2)}$, из матрицы ковариаций имеем: $\mathrm{0 = a1}$, то есть $\mathrm{a = 0}$, значит $\mathrm{X}$ и $\mathrm{Y}$ независимы?


2.
Более общий и более глупый вопрос:

--mS-- в сообщении #966810 писал(а):
По определению УМО, $\mathsf E(Y|X,Z) = f(X,Z)$ п.н., где $f$ - борелевская функция такая, что для любой (почти, с бесконечными матожиданиями не предлагать) борелевской функции $h(X,Z)$ выполнено $$\mathsf EYh(X,Z)=\mathsf Ef(X,Z)h(X,Z).$$


Если в первом равенстве у нас условное математическое ожидание, которое, по определению, равно функции от "условий", то как мы во втором равенстве получаем безусловное математическое ожидание той же величины, умноженное на произвольную функцию? От меня ускользает суть того, как мы это делаем.

3.
--mS-- в сообщении #966810 писал(а):
При этом нормальность распределения вектора гарантирует, что функция $f(X,Z)=aX+bZ$ линейная п.н.


Скажите, что было бы, если бы вектор был распределён произвольно и/или со средними, отличными от нуля.

4.
Как Вы видите, у меня много пробелов. Вы не могли бы посоветовать книгу или автора, к которому следует обратиться?

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 19:31 


23/12/07
1521
(del)

 Профиль  
                  
 
 Re: Условная вероятность и ковариационная матрица
Сообщение22.01.2015, 19:35 
Заслуженный участник
Аватара пользователя


18/01/13
11482
Казань
ipavero в сообщении #966819 писал(а):
Как вы поняли это по диагональному верхнему минору? Если я правильно понимаю, этот минор будет таким:
$$\begin{bmatrix}
1 \quad  \beta \\
\beta \quad  1 \\
\end{bmatrix}$$

У вас странные пространственные представления... Верхним будет минор
$$\begin{bmatrix}
1 \quad  0 \\
0 \quad  1 \\
\end{bmatrix}$$

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 21 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group