2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Плотность случайной величины, выраженная через другую
Сообщение07.04.2024, 23:25 


15/11/14
122
Добрый вечер, в статье на 4ой страничке про VAE есть такая штука, которую я не понимаю с математической точки зрения.

Пусть $X$ -- случайная величина, имеющая нормальное распределение $\mathcal{N}(\mu, \sigma^2$). В примере статьи предлагают сделать такую модель: а давайте в качестве $Z$ возьмем "случайную величину", распределение которой -- это нормальное распределение "вида" $\mathcal{N}(aX+b, 1).

Тут у меня два вопроса:
- (1) Как определять строго по-математически эту штуку? Я такой сценарий не изучал в теории вероятности или математической статистики, где можно об этом почитать?
- (2) Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?

Интуитивно я понимаю, что мы генерируем с помощью черного ящика $\mathcal{N}(\mu, \sigma^2$) сначала некое число $x$, затем мы определяем по нему черный ящик $\mathcal{N}(ax+b, 1) и генерируем из него уже некоторое число $z$. Но это чисто на словах, а по-математически то как?

Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ \sim \mathcal{N}(aX+b, 1) есть $$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$ Но здесь по сути $X$ -- уже случайная величина, а дальше фразу "преобразуйте функцию плотности, которая выражена через случайную величину $X$, в функцию плотности от переменной $x$" я не понимаю.

Возможно, (2) вопрос я сформулировал некорректно, но хочется понять, как его переформулировать правильно.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 00:24 


10/03/16
4444
Aeroport
lantza в сообщении #1635619 писал(а):
Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?


Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.

lantza в сообщении #1635619 писал(а):
Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ есть $$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$


Если $a=\text{миллиард}$, то дисперсия останется той же самой?

lantza в сообщении #1635619 писал(а):
в статье на 4ой страничке про VAE


Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 00:45 


15/11/14
122
ozheredov в сообщении #1635620 писал(а):
lantza в сообщении #1635619 писал(а):
Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?


Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.



Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.
Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$. Это не одно и то же: здесь матожидание $Z$ среднего значения у распределения есть функция от случайной величины $X$. Мне непонятно, что это значит, так что в этом и был вопрос. Хотя бы формулировку определения.

-- 08.04.2024, 00:46 --

ozheredov в сообщении #1635620 писал(а):
Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

Нет, не рановато, не беспокойтесь, эти темы я уже проходил :-)

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 01:18 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{XZ}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 01:19 


10/03/16
4444
Aeroport
lantza в сообщении #1635621 писал(а):
Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.


Супер!

lantza в сообщении #1635621 писал(а):
Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$.


А, понял - это видимо условное распределение. Некая с.в., у которой условное распределение такое как Вы написали

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 02:35 


15/11/14
122
mihaild в сообщении #1635622 писал(а):
Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

Да, спасибо! У Ширяева такого определения нет (в 7 параграфе по крайней мере), есть заметка про вероятностно-статистическую модель, которая вообще относится к задачам оценивания неизвестного параметра.

mihaild в сообщении #1635622 писал(а):
Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{(X,Z)}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Вот это я у Ширяева я давно видел, там это по теореме Фубини проверяется в общем случае.

Тогда получается, авторы из статьи величину $Z$ полагают таким образом, что плотность условного распределения (по определению это уже функция двух переменных) $f_{Z|X}(z|x) = \dfrac{f_{XZ}(x, z)}{f_{X}(x)}$ есть плотность нормального распределения $\mathcal{N}(ax+b, 1)$ при фиксированном $x$. Тогда получается, что "плотность" уже задана и она оказалась условной плотностью.

Спасибо, разрешили мой вопрос!

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 03:15 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
lantza в сообщении #1635627 писал(а):
У Ширяева такого определения нет (в 7 параграфе по крайней мере)
Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 10:29 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
В общем случае надо рассматривать, как условное распределение и затем выписывать интеграл. Но в данном случае в качестве случайного параметра условного распределения берётся матожидание, и задача сводится к распределению суммы случайных величин, а так как обе нормальны - то и сумма нормально распределена.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 11:32 


15/11/14
122
mihaild в сообщении #1635629 писал(а):
Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения). Хочется про это отдельный пункт писать, может там это как-то аккуратно сводится к ним.

-- 08.04.2024, 12:23 --

Хотя, я проштурмовал еще раз, вроде теперь всё понятнее для себя стало: просто надо зафиксировать некие случайные величины $X, Z$, взять условное матожидание $\mathbb{E}(I_A|X=x)$, где $A = \{Z \in B\}, B \in \mathscr{B}(\mathbb{R})$, и потом сказать, что оно имеет такую вот условную плотность по условию.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 13:17 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
lantza в сообщении #1635658 писал(а):
Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения).
Тут есть два понятия.
Во-первых, для каждого $U$, есть случайная величина $I_{Y \in U}$, есть случайная величина - её условное ожидание, по Ширяеву это ожидание может быть представлено как функция от $X$, и соответственно осмысленна запись $\mathbb E (I_{Y \in U} | X = x)$.
Во-вторых, через эти индикаторы определяется условное распределение $Y$ при условии $X = x$.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Padawan


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group