Условная вероятность и ковариационная матрица

[ipavero]

provincialka в сообщении #966888 писал(а):

У вас странные пространственные представления... Верхним будет минор

$$\begin{bmatrix} 1 \quad 0 \\ 0 \quad 1 \\ \end{bmatrix}$$

простите, да, точно
спасибо!

[arseniiv]

(Formulæ.)

ipavero
Каких только матриц тут нет! И с разделителями \,, и с разделителями \;, и с разделителями даже \quad! Увы, эти трое — просто пробелы разной ширины. Чтобы матрица набралась лучше (особенно если её элементы — довольно разные выражения), всего-то надо писать разделителем &. Сравните:

$$\begin{bmatrix} E(X^2) \; E(XY)\; E(XZ) \\ E(YX)\; E(Y^2) \; E(YZ) \\ E(ZX)\; E(ZY)\; E(Z^2) \end{bmatrix}$$

было, а стало

$$\begin{bmatrix} E(X^2) & E(XY) & E(XZ) \\ E(YX) & E(Y^2) & E(YZ) \\ E(ZX) & E(ZY) & E(Z^2) \end{bmatrix}$$

Центрируется прекрасно (код при наведении указателя).

_hum_
Не забывайте, что угловые скобки — это \langle и \rangle $\langle a,b\rangle=0$. Если даже нужны будут именно «острые» (но лучше, чтобы не были), стоит помещать < и > соответственно в \mathopen и \mathclose, чтобы пробелы ставились правильно: $\mathopen<a,b\mathclose>=0$. Заметьте, как скобки не прилипают к равенству, потому что здесь > — не символ отношения.

[_hum_]

ipavero в сообщении #966900 писал(а):

Как здорово, спасибо!

Скажите, но как будет выглядеть проекция $U = aX + bZ$, если вектор не будет гауссовским?

ipavero, это некорректное решение, забудьте, что я писал) :)

п.с. ну, либо надо будет отдельно ссылаться, что условное матожидание в гауссовском случае является линейной комбинацией от соответствующих с.в.

п.п.с правильно: условное мат. ожидание есть проекция на подпространство всех измеримых относительно сигма-алгебры, порождаемой соответствующими случайными величинами величин.

[_hum_]

Все-таки не хочется отказываться от геометрического варианта решения. Потому, для корректности, поступим так. Будем отталкиваться от известного свойства УМО, а именно, что случайная величина $E(\eta | \xi_1, \dots, \xi_n )$ доставляет минимум среднеквадратичному расстоянию от случайной величины $\eta$ до подпространства всех случайных величин вида $g(\xi_1, \dots, \xi_n)$, где $g = g(x_1, \dots, x_n)$ - некоторая борелевская функция, то есть,

$$||\eta- E(\eta | \xi_1, \dots, \xi_n )||_2 = \min_{g \in Borel(X^n)} ||\eta - g(\xi_1, \dots, \xi_n)||_2 (*) $$

Ну и теперь, если обратиться к еще одному факту, а именно, что для гауссовского вектора УМО одной компоненты относительно других является линейной комбинацией этих остальных компонент, то тогда из равенства (*) вытекает, что в этом случае УМО является ортогональной проекцией на подпространство, образованное линейной оболочкой этих компонент.
И все, дальше остается составить уравнения на ортогональность и найти коэффициенты разложения (как я раньше и писал).

[--mS--]

Ну с минорами вроде разобрались, сразу к 2.

ipavero в сообщении #966819 писал(а):

2.
Если в первом равенстве у нас условное математическое ожидание, которое, по определению, равно функции от "условий", то как мы во втором равенстве получаем безусловное математическое ожидание той же величины, умноженное на произвольную функцию? От меня ускользает суть того, как мы это делаем.

А вот тут надо почитать про УМО. Наберусь наглости и посоветую вот в таком порядке: сначала http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf - стр.129, если не хватит, потом А.А.Боровкова "ТВ". Если не хватит - А.Н.Ширяева "Вероятность". Это ровно проектирование: УМО случайной величины $Y$ на пару $(X,Z)$ - это элемент линейного пространства всевозможных борелевских функций от $(X,Z)$, обладающий всеми свойствами ортопроекции. Т.е. такой, что разность $Y - \mathsf E(Y|X,Z)$ ортогональна всему, что шевелится в этом пространстве. Ортогональность понимается в смысле скалярного произведения $(U,V)=\mathsf EUV$. Вот отсюда и появляется такое равенство: для $h(X,Z)$ выполнено $\mathsf Eh(X,Z)(Y - \mathsf E(Y|X,Z))\equiv 0$.

ipavero в сообщении #966819 писал(а):

3.
Скажите, что было бы, если бы вектор был распределён произвольно и/или со средними, отличными от нуля.

Если произвольно, то и функция $\mathsf E(Y|X,Z)=f(X,Z)$ п.н. линейной уже, вообще говоря (а может, и вообще) не будет. В таком случае УМО ищется тупо по формулам. Например, через условную плотность как матожидание условного распределения. И здесь можно это сделать напрямую. Если же нормальность есть, но матожидания ненулевые, ничего принципиально не изменится. Пересчитаются константы, и добавка постоянная появится.

На мой взгляд, всё же читать надо сначала про УМО, потом про многомерное нормальное распределение - Феллер 2-й том самое начало, например. Потом про линейную регрессию - тут уж не знаю, где лучше. Евгений Машеров прав, намекая Вам на неё, как бы противна она мне ни была

[ipavero]

--mS--, Вы очень ясно объясняете, спасибо Вам огромное ещё раз!

В, свою очередь, тоже наберусь наглости и напоследок ещё попрошу литературу по временным рядам и эконометрике (нужно разобраться с моделями logit и probit), было бы здорово, если бы Вы подсказали

Вашу книгу я видел и пользовался ей в связи со сравнением оценок, спасибо и за неё