Плотность случайной величины, выраженная через другую

[lantza]

Добрый вечер, в статье на 4ой страничке про VAE есть такая штука, которую я не понимаю с математической точки зрения.

Пусть $X$ -- случайная величина, имеющая нормальное распределение $\mathcal{N}(\mu, \sigma^2$). В примере статьи предлагают сделать такую модель: а давайте в качестве $Z$ возьмем "случайную величину", распределение которой -- это нормальное распределение "вида" $\mathcal{N}(aX+b, 1).

Тут у меня два вопроса:
- (1) Как определять строго по-математически эту штуку? Я такой сценарий не изучал в теории вероятности или математической статистики, где можно об этом почитать?
- (2) Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?

Интуитивно я понимаю, что мы генерируем с помощью черного ящика $\mathcal{N}(\mu, \sigma^2$) сначала некое число $x$, затем мы определяем по нему черный ящик $\mathcal{N}(ax+b, 1) и генерируем из него уже некоторое число $z$. Но это чисто на словах, а по-математически то как?

Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ \sim \mathcal{N}(aX+b, 1) есть

$$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$

Но здесь по сути $X$ -- уже случайная величина, а дальше фразу "преобразуйте функцию плотности, которая выражена через случайную величину $X$, в функцию плотности от переменной $x$" я не понимаю.

Возможно, (2) вопрос я сформулировал некорректно, но хочется понять, как его переформулировать правильно.

[ozheredov]

lantza в сообщении #1635619 писал(а):

Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?

Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.

lantza в сообщении #1635619 писал(а):

Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ есть

$$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$

Если $a=\text{миллиард}$, то дисперсия останется той же самой?

lantza в сообщении #1635619 писал(а):

в статье на 4ой страничке про VAE

Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

[lantza]

ozheredov в сообщении #1635620 писал(а):

lantza в сообщении #1635619 писал(а):

Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?

Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.

Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.
Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$. Это не одно и то же: здесь матожидание $Z$ среднего значения у распределения есть функция от случайной величины $X$. Мне непонятно, что это значит, так что в этом и был вопрос. Хотя бы формулировку определения.

-- 08.04.2024, 00:46 --

ozheredov в сообщении #1635620 писал(а):

Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

Нет, не рановато, не беспокойтесь, эти темы я уже проходил

[mihaild]

Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{XZ}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

[ozheredov]

lantza в сообщении #1635621 писал(а):

Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.

Супер!

lantza в сообщении #1635621 писал(а):

Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$.

А, понял - это видимо условное распределение. Некая с.в., у которой условное распределение такое как Вы написали

[lantza]

mihaild в сообщении #1635622 писал(а):

Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

Да, спасибо! У Ширяева такого определения нет (в 7 параграфе по крайней мере), есть заметка про вероятностно-статистическую модель, которая вообще относится к задачам оценивания неизвестного параметра.

mihaild в сообщении #1635622 писал(а):

Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{(X,Z)}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Вот это я у Ширяева я давно видел, там это по теореме Фубини проверяется в общем случае.

Тогда получается, авторы из статьи величину $Z$ полагают таким образом, что плотность условного распределения (по определению это уже функция двух переменных) $f_{Z|X}(z|x) = \dfrac{f_{XZ}(x, z)}{f_{X}(x)}$ есть плотность нормального распределения $\mathcal{N}(ax+b, 1)$ при фиксированном $x$. Тогда получается, что "плотность" уже задана и она оказалась условной плотностью.

Спасибо, разрешили мой вопрос!

[mihaild]

lantza в сообщении #1635627 писал(а):

У Ширяева такого определения нет (в 7 параграфе по крайней мере)

Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

[Евгений Машеров]

В общем случае надо рассматривать, как условное распределение и затем выписывать интеграл. Но в данном случае в качестве случайного параметра условного распределения берётся матожидание, и задача сводится к распределению суммы случайных величин, а так как обе нормальны - то и сумма нормально распределена.

[lantza]

mihaild в сообщении #1635629 писал(а):

Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения). Хочется про это отдельный пункт писать, может там это как-то аккуратно сводится к ним.

-- 08.04.2024, 12:23 --

Хотя, я проштурмовал еще раз, вроде теперь всё понятнее для себя стало: просто надо зафиксировать некие случайные величины $X, Z$, взять условное матожидание $\mathbb{E}(I_A|X=x)$, где $A = \{Z \in B\}, B \in \mathscr{B}(\mathbb{R})$, и потом сказать, что оно имеет такую вот условную плотность по условию.

[mihaild]

lantza в сообщении #1635658 писал(а):

Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения).

Тут есть два понятия.
Во-первых, для каждого $U$, есть случайная величина $I_{Y \in U}$, есть случайная величина - её условное ожидание, по Ширяеву это ожидание может быть представлено как функция от $X$, и соответственно осмысленна запись $\mathbb E (I_{Y \in U} | X = x)$.
Во-вторых, через эти индикаторы определяется условное распределение $Y$ при условии $X = x$.