Условное матожидание в линейной регрессии

[--mS--]

mihaild в сообщении #1543887 писал(а):

А что это вообще такое? Я знаю что бы это означало, если бы $P(X = x) \neq 0$, но неравенство плотности нулю этого не гарантирует (да и вообще смотреть на значение плотности в точке в общем случае нехорошо, не говоря уже о том что и существование плотности нам никто не гарантирует).

Это условная запись. Цитирую Ширяева (параграф 7 главы II, Вероятность-I, 2004):

Поскольку $\mathsf E(\xi\mid\eta)$ является $\mathscr G_\eta$-измеримой функцией, то, согласно теореме 3 из $\S 4$, найдется такая борелевская функция $m=m(y)$ (...), что для всех $\omega\in\Omega$

$$ m(\eta(\omega)) = \mathsf E(\xi\mid\eta)(\omega). $$

Эту функцию $m(y)$ будем обозначать через $\mathsf E(\xi\mid\eta=y)$ и называть условным математическим ожиданием $\xi$ относительно события $\{\eta=y\}$ или условным математическим ожиданием $\xi$ при условии, что $\eta=y$.

[mihaild]

Но эта функция $m$ определена неоднозначно даже на образе $\eta$, если только $\eta$ не дискретна. Поэтому прежде чем говорить о её свойствах, зависящих от произвольного выбора, нужно сказать, какую именно из функций мы берем.

[give_up]

mihaild в сообщении #1543887 писал(а):

Запись $\xi = 0$, где $\xi$ - случайная величина, иногда означает что $\forall \omega \in \Omega: \xi(\omega) = 0$, но гораздо чаще что $P(\xi \neq 0) = 0$.

Да, похоже здесь как раз этот случай, когда равенство $E[U|X]=0$ следует понимать как равенство $P(E[U|X]=0) = 1$. Для непрерывных случайных величин как-то по-другому его интерпретировать, видимо, не получится.

И то же самое видимо можно сказать про еще одно очень часто используемое в линейной регрессии предположение о том, что $\mathrm{Var}(U|X)=\sigma^2 > 0$ - его тоже следует понимать как $P(\mathrm{Var}(U|X)=\sigma^2 > 0) = 1$.

Поправьте если ошибаюсь.

[give_up]

mihaild в сообщении #1543902 писал(а):

Но эта функция $m$ определена неоднозначно даже на образе $\eta$, если только $\eta$ не дискретна. Поэтому прежде чем говорить о её свойствах, зависящих от произвольного выбора, нужно сказать, какую именно из функций мы берем.

Возьмем стандартное определение из wikipedia для функции условного матожидания непрерывной случайной величины (предполагая конечно, что совместная плотность существует - в эконометрике это вполне естественное предположение):

$\displaystyle \operatorname{E} (U \mid X=x) &= \frac{1}{f_{X}(x)}\int_{-\infty}^\infty u f_{U,X}(u,x) \mathrm{d}u$
("When the denominator is zero, the expression is undefined. Note that conditioning on a continuous random variable is not the same as conditioning on the event $\{X=x\}$ as it was in the discrete case. Not respecting this distinction can lead to contradictory conclusions as illustrated by the Borel-Kolmogorov paradox.")

Тогда похоже что указанная Вами неоднозначность устраняется и моя интерпретация через носитель выглядит корректной, то есть можно равенство $E[U|X]=0$ трактовать как выражение $E[U|X=x]=0, ~ \forall x \in S$, где $S$ - это носитель случайной величины $X$ (множество точек, на которых плотность $f_X(x)$ положительна).

Просто в случае дискретной случайной величины $X$ интерпретация через носитель корректна, и мне хочется выписать аналогичную интерпретацию для непрерывной случайной величины.

[mihaild]

give_up в сообщении #1543913 писал(а):

Тогда похоже что указанная Вами неоднозначность устраняется

Нет, потому что плотность, и даже её носитель определены неоднозначно. Если $f$ - плотность случайной величины, то $f + g$, где $g$ равна нулю почти всюду - тоже плотность той же случайной величины.
Для некоторых непрерывных величин есть какая-то "естественная" плотность (например непрерывная), но не всегда - например для равномерно распределенной на отрезке величины, чему равна плотность на концах отрезка?

give_up в сообщении #1543913 писал(а):

Просто в случае дискретной случайной величины $X$ интерпретация через носитель корректна, и мне хочется выписать аналогичную интерпретацию для непрерывной случайной величины.

Можно сказать, что это равенство выполнено для почти всех (относительно меры Лебега) элементов носителя.