Условное матожидание в линейной регрессии

[give_up]

Пусть есть две случайных величины, $X$ и $U$. Тогда (насколько я помню из теорвера) матожидание вида $E[U|X]$ есть случайная величина. Вопрос у меня следующий - как правильно будет интерпретировать равенство $E[U|X] = 0$, если под случайной величиной $U$ понимать ошибку модели линейной регрессии, а под случайной величиной $X$ - объясняющую переменную. Известно, что выполнение этого равенства является базовым предположением линейной регрессии.
То есть какой из следующих вариантов интерпретации является верным:
1) равенство $E[U|X] = 0$ в контексте линейной регрессии равносильно выражению $E[U|X = x] = 0, ~\forall x \in R$, где $R$ - множество значений случайной величины $X$; то есть равенство $E[U|X] = 0$ следует понимать как то, что случайная величина $E[U|X]$ тождественно (на любом элементарном исходе) равна нулю.
2) равенство $E[U|X] = 0$ в контексте линейной регрессии означает, что $P(E[U|X] = 0)= 1$, то есть оно выполняется с вероятностью 1.

Мне первая интерпретация кажется более правдоподобной, но в статистике часто пишут, что случайная величина равна константе, при этом неявно подразумевая, что равенство выполняется с вероятностью 1. Какая интерпретация будет верной в контексте линейной регрессии, первая или вторая?

[Евгений Машеров]

1. А давно матожидание стало случайной величиной?
2. А давно "объясняющая переменная" (регрессор) стала случайной величиной?

[alisa-lebovski]

Евгений Машеров в сообщении #1543851 писал(а):

1. А давно матожидание стало случайной величиной?

С тех пор как придумали условное матожидание.

[give_up]

Евгений Машеров в сообщении #1543851 писал(а):

1. А давно матожидание стало случайной величиной?
2. А давно "объясняющая переменная" (регрессор) стала случайной величиной?

1. Для вас что - новость, что условное матожидание вида $E[Y|U]$ является случайной величиной (функцией от случайной величины $U$), а условное матожидание вида $E[Y|U=u]$ - числом? Ну тогда откройте любой нормальный вводный учебник по теории вероятностей, например, вот здесь всего 3-4 верних абзаца прочитайте. Там случайные величины по-другому обозначены, но это не важно.
Или вот второй абзац из wikipedia: "Depending on the context, the conditional expectation can be either a random variable or a function. The random variable is denoted $E(X\mid Y)$ analogously to conditional probability. The function form is either denoted $E(X\mid Y=y) $or a separate function symbol such as $f(y)$ is introduced with the meaning $\displaystyle E(X\mid Y)=f(Y)$. "

2. Откройте любой нормальный учебник по эконометрике (например, Магнус "Эконометрика. Начальный курс", по-которому 20 лет читают лекции во ВШЭ и РЭШ, раздел 5.1, или самый популярный западный учебник Wooldridge "Introductory econometrics", или Hayashi "Econometrics", еще сто книг могу указать, где используются случайные регрессоры) и увидите, что матрицу регрессоров в современной литературе в большинстве задач принято считать случайной. Считать ее детерминированной можно лишь в тех случаях, когда экспериментатору точно известны значения признаков, а это выполняется далеко не всегда. Более технические различия между фиксированной и случайной матрицей регрессоров см. здесь, например. Выше у меня всего один регрессор для простоты, но сути это не меняет.

[zykov]

give_up в сообщении #1543844 писал(а):

1) равенство $E[U|X] = 0$ в контексте линейной регрессии равносильно выражению $E[U|X = x] = 0, ~\forall x \in R$, где $R$ - множество значений случайной величины $X$; то есть равенство $E[U|X] = 0$ следует понимать как то, что случайная величина $E[U|X]$ тождественно (на любом элементарном исходе) равна нулю.
2) равенство $E[U|X] = 0$ в контексте линейной регрессии означает, что $P(E[U|X] = 0)= 1$, то есть оно выполняется с вероятностью 1.

С чего вдруг?
$E[U|X] = 0$ говорит только о том, что среднее равно нулю (т.е. оценка unbiased).
"случайная величина $E[U|X]$ тождественно (на любом элементарном исходе) равна нулю" - беспочвенно.
"оно выполняется с вероятностью 1" - тоже беспочвенно.

-- 21.12.2021, 20:23 --

Евгений Машеров в сообщении #1543851 писал(а):

А давно матожидание стало случайной величиной?

Видимо у экономистов принято такое кривое определение.
Очевидно, что условное матожидание - это функция. Понятно, что по этой функции можно сконструировать случайную величину. Но называть эту случайную величину матожиданием - нелепо.

[Евгений Машеров]

1. Матожидание и условное матожидание это не одно и то же. Примерно как "государь" и "милостивый государь".
2. В обычной регрессионной модели регрессоры детерминированы. И именно поэтому в эконометрике, где они действительно случайны, используются методы, достаточно далёкие от обычного регрессионного анализа.

[zykov]

Вот например есть случайная величина с нормальным распределением - центр в нуле, сигма один.
Мы знаем, что матождание этой случайной величины равно нулю. Что, из этого следует что "эта случайная величина тождественно равна нулю"? Нет конечно.

[alisa-lebovski]

zykov в сообщении #1543863 писал(а):

Видимо у экономистов принято такое кривое определение.
Очевидно, что условное матожидание - это функция. Понятно, что по этой функции можно сконструировать случайную величину. Но называть эту случайную величину матожиданием - нелепо.

Нет, это у математиков такое определение. Загляните в Википедию на "условное математическое ожидание", Вы удивитесь.

[zykov]

Посмотрел, написано "функция":

Цитата:

Условное математическое ожидание в теории вероятностей — это среднее значение случайной величины при выполнении некоторого условия (реализации каких-то событий). Часто в качестве условия выступает фиксированное на некотором уровне значение другой случайной величины, которая может быть связана с данной (если эти случайные величины независимы, то условное математическое ожидание совпадает с (безусловным) математическим ожиданием). В этом случае условное математическое ожидание случайной величины $Y$ при условии, что случайная величина $X$ приняла значение $x$ обозначается как $E(Y|X=x)$, соответственно, ее можно рассматривать как функцию от $x$. Эта функция называется функцией регрессии случайной величины $Y$ на случайную величину $X$ и поэтому условное математическое ожидание обозначают как $E(Y|X)$, то есть без указания фиксированного значения $x$.

[give_up]

zykov в сообщении #1543863 писал(а):

give_up в сообщении #1543844 писал(а):

1) равенство $E[U|X] = 0$ в контексте линейной регрессии равносильно выражению $E[U|X = x] = 0, ~\forall x \in R$, где $R$ - множество значений случайной величины $X$; то есть равенство $E[U|X] = 0$ следует понимать как то, что случайная величина $E[U|X]$ тождественно (на любом элементарном исходе) равна нулю.
2) равенство $E[U|X] = 0$ в контексте линейной регрессии означает, что $P(E[U|X] = 0)= 1$, то есть оно выполняется с вероятностью 1.

С чего вдруг?
$E[U|X] = 0$ говорит только о том, что среднее равно нулю (т.е. оценка unbiased).
"случайная величина $E[U|X]$ тождественно (на любом элементарном исходе) равна нулю" - беспочвенно.
"оно выполняется с вероятностью 1" - тоже беспочвенно.

Какая еще оценка unbiased? Где вы здесь вообще здесь взяли оценку? Оценку чего?

Обозначьте $Z = E[U|X]$, тогда $E[U|X] = 0 \iff Z=0$ - это равенство нулю случайной величины $Z$.

[mihaild]

give_up, условное мат. ожидание само по себе определено только с точностью до множеств меры нуль, поэтому говорить о его значениях на всех элементарных исходах бессмысленно.

zykov в сообщении #1543863 писал(а):

$E[U|X] = 0$ говорит только о том, что среднее равно нулю (т.е. оценка unbiased).

Нет, несмещенность - это $E[U] = 0$. $E[U | X] = 0$ гораздо сильнее.

zykov в сообщении #1543863 писал(а):

Видимо у экономистов принято такое кривое определение

Это совершенно стандартное определение.

Ширяев, Вероятность - 1, стр. 267 писал(а):

Условным математическим ожиданием неотрицательной случайной величины $\xi$ относительно $\sigma$-алгебры $\mathrm S$ называется неотрицательная (расширенная) случайная величина...

Ширяев, Вероятность - 1, стр. 269 писал(а):

Пусть $\xi$ - случайная величина и $\mathrm S_\eta$ - $\sigma$-алгебра, порожденная некоторым случайным элементом $\eta$. Тогда $E(\xi | \mathrm S_n)$, если оно определено, обозначается $E(\xi | \eta)$ [...] и называется условным математическим ожиданием $\xi$ относительно $\eta$.

А вот то, что $E(\xi | \eta)$ равно какой-то функции от $\eta$ - доказывается отдельно.

-- 21.12.2021, 20:59 --

give_up в сообщении #1543869 писал(а):

Где вы здесь вообще здесь взяли оценку?

Оценку, ошибкой которой является $U$.

[alisa-lebovski]

zykov в сообщении #1543868 писал(а):

Посмотрел, написано "функция"

Отлично, прочли первый абзац. Там дальше еще много интересного.

[zykov]

give_up в сообщении #1543869 писал(а):

Обозначьте $Z = E[U|X]$, тогда $E[U|X] = 0 \iff Z=0$ - это равенство нулю случайной величины $Z$.

Понятно.
Я писал про случайную величину $U$.
Насчёт случайной величины связанной с условным матожиданием, то если функция условного матожидания тождественно равна нулю, то и эта случайная величина тождественно равна нулю, т.е. принимает это единственное значение со 100% вероятностью.
(Т.е. Ваши (1) и (2) эквивалентны.)

[give_up]

mihaild, спасибо за подробный ответ.

mihaild в сообщении #1543870 писал(а):

give_up, условное мат. ожидание само по себе определено только с точностью до множеств меры нуль, поэтому говорить о его значениях на всех элементарных исходах бессмысленно.

Хорошо, а можно ли тогда интерпретировать равенство $E[U|X]=0$ как выражение $E[U|X = x]=0, ~~ \forall x \in S$, где $S$ - это носитель случайной величины $X$ (множество точек, на которых плотность $f_X(x)$ положительна)?

[mihaild]

give_up в сообщении #1543879 писал(а):

как выражение $E[U|X = x]=0, ~~ \forall x \in S$

А что это вообще такое? Я знаю что бы это означало, если бы $P(X = x) \neq 0$, но неравенство плотности нулю этого не гарантирует (да и вообще смотреть на значение плотности в точке в общем случае нехорошо, не говоря уже о том что и существование плотности нам никто не гарантирует).
Запись $\xi = 0$, где $\xi$ - случайная величина, иногда означает что $\forall \omega \in \Omega: \xi(\omega) = 0$, но гораздо чаще что $P(\xi \neq 0) = 0$.