2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Плотность случайной величины, выраженная через другую
Сообщение07.04.2024, 23:25 


15/11/14
122
Добрый вечер, в статье на 4ой страничке про VAE есть такая штука, которую я не понимаю с математической точки зрения.

Пусть $X$ -- случайная величина, имеющая нормальное распределение $\mathcal{N}(\mu, \sigma^2$). В примере статьи предлагают сделать такую модель: а давайте в качестве $Z$ возьмем "случайную величину", распределение которой -- это нормальное распределение "вида" $\mathcal{N}(aX+b, 1).

Тут у меня два вопроса:
- (1) Как определять строго по-математически эту штуку? Я такой сценарий не изучал в теории вероятности или математической статистики, где можно об этом почитать?
- (2) Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?

Интуитивно я понимаю, что мы генерируем с помощью черного ящика $\mathcal{N}(\mu, \sigma^2$) сначала некое число $x$, затем мы определяем по нему черный ящик $\mathcal{N}(ax+b, 1) и генерируем из него уже некоторое число $z$. Но это чисто на словах, а по-математически то как?

Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ \sim \mathcal{N}(aX+b, 1) есть $$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$ Но здесь по сути $X$ -- уже случайная величина, а дальше фразу "преобразуйте функцию плотности, которая выражена через случайную величину $X$, в функцию плотности от переменной $x$" я не понимаю.

Возможно, (2) вопрос я сформулировал некорректно, но хочется понять, как его переформулировать правильно.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 00:24 


10/03/16
4444
Aeroport
lantza в сообщении #1635619 писал(а):
Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?


Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.

lantza в сообщении #1635619 писал(а):
Мои попытки решения по (2): по интуитивности на пальцах, если уже задано число $X$, то плотность случайной величины $Z$ есть $$f_Z(z) = \dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{(z-(aX+b))^2}{2}}$$


Если $a=\text{миллиард}$, то дисперсия останется той же самой?

lantza в сообщении #1635619 писал(а):
в статье на 4ой страничке про VAE


Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 00:45 


15/11/14
122
ozheredov в сообщении #1635620 писал(а):
lantza в сообщении #1635619 писал(а):
Какова будет плотность распределения $f_Z$ у этой случайной величины как функция от $x$?


Советую сперва искать функцию распределения $F_\xi(x)=P(\xi < x)$. Там все сразу понятно, особенно при одномерном линейном преобразовании.



Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.
Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$. Это не одно и то же: здесь матожидание $Z$ среднего значения у распределения есть функция от случайной величины $X$. Мне непонятно, что это значит, так что в этом и был вопрос. Хотя бы формулировку определения.

-- 08.04.2024, 00:46 --

ozheredov в сообщении #1635620 писал(а):
Посмотрел. Извиняюсь, а Вам не рановато читать такие статьи? Может, начнете с чего попроще? Линейная регрессия там, проверка гипотез, интервальное оценивание?

Нет, не рановато, не беспокойтесь, эти темы я уже проходил :-)

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 01:18 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{XZ}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 01:19 


10/03/16
4444
Aeroport
lantza в сообщении #1635621 писал(а):
Если рассматривать случайную величину $Z = aX+b$, то конечно, очень легко с помощью функции распределения вывести, что $Z$ имеет нормальное распределение $N(a\mu+b,a^2\sigma^2)$.


Супер!

lantza в сообщении #1635621 писал(а):
Здесь, к сожалению, рассматривается некая "случайная величина" $Z$, распределение которой есть $\mathcal{N}(aX+b, 1)$.


А, понял - это видимо условное распределение. Некая с.в., у которой условное распределение такое как Вы написали

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 02:35 


15/11/14
122
mihaild в сообщении #1635622 писал(а):
Более общее определение - если у нас есть случайная величина $X$ и параметризованное одним параметром семейство распределений $B_x$, то мы говорим, что $Y \sim B_X$, если для любого множества $U$, $\mathbb E(I_{Y \in U} | X = x) = P(B_x \in U)$, где $\mathbb E(I_{Y \in U} | X = x)$ - условное мат. ожидание (7 параграф 2 главы у Ширяева).

Да, спасибо! У Ширяева такого определения нет (в 7 параграфе по крайней мере), есть заметка про вероятностно-статистическую модель, которая вообще относится к задачам оценивания неизвестного параметра.

mihaild в сообщении #1635622 писал(а):
Для непрерывного случая всё просто: есть распределение пары $(X, Z)$ с плотностью $f_{XZ}(x, z)$, причем $X$ распределена нормально с плотностью $f_X(x)$, а условная плотность $Z$, $\frac{f_{(X,Z)}(x, z)}{f_{X}(x)}$ (проверьте, что это действительно плотность для почти всех $x$) - плотность нормального распределения с соответствующими параметрами.

Вот это я у Ширяева я давно видел, там это по теореме Фубини проверяется в общем случае.

Тогда получается, авторы из статьи величину $Z$ полагают таким образом, что плотность условного распределения (по определению это уже функция двух переменных) $f_{Z|X}(z|x) = \dfrac{f_{XZ}(x, z)}{f_{X}(x)}$ есть плотность нормального распределения $\mathcal{N}(ax+b, 1)$ при фиксированном $x$. Тогда получается, что "плотность" уже задана и она оказалась условной плотностью.

Спасибо, разрешили мой вопрос!

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 03:15 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
lantza в сообщении #1635627 писал(а):
У Ширяева такого определения нет (в 7 параграфе по крайней мере)
Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 10:29 
Заслуженный участник
Аватара пользователя


11/03/08
9874
Москва
В общем случае надо рассматривать, как условное распределение и затем выписывать интеграл. Но в данном случае в качестве случайного параметра условного распределения берётся матожидание, и задача сводится к распределению суммы случайных величин, а так как обе нормальны - то и сумма нормально распределена.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 11:32 


15/11/14
122
mihaild в сообщении #1635629 писал(а):
Ширяев, "Вероятность", издание 2007 года, глава 2 "Математические основания теории вероятностей", параграф 7 "Условные вероятности и математические ожидания относительно $\sigma$-алгебр", страница 305, пункт 5 - "найдется такая борелевская функия $m(y)$, что при для всех $\omega$, $m(\eta(\omega)) = (\xi | \eta)(\omega)$".

Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения). Хочется про это отдельный пункт писать, может там это как-то аккуратно сводится к ним.

-- 08.04.2024, 12:23 --

Хотя, я проштурмовал еще раз, вроде теперь всё понятнее для себя стало: просто надо зафиксировать некие случайные величины $X, Z$, взять условное матожидание $\mathbb{E}(I_A|X=x)$, где $A = \{Z \in B\}, B \in \mathscr{B}(\mathbb{R})$, и потом сказать, что оно имеет такую вот условную плотность по условию.

 Профиль  
                  
 
 Re: Плотность случайной величины, выраженная через другую
Сообщение08.04.2024, 13:17 
Заслуженный участник
Аватара пользователя


16/07/14
9090
Цюрих
lantza в сообщении #1635658 писал(а):
Да, спасибо, но по-моему это не относится к случаю параметризованному одним параметром семейству распределений, про которое вы пишите, там только про сигма-алгебры, порожденные какой-то случайной величиной (т. е. для заданного одного распределения).
Тут есть два понятия.
Во-первых, для каждого $U$, есть случайная величина $I_{Y \in U}$, есть случайная величина - её условное ожидание, по Ширяеву это ожидание может быть представлено как функция от $X$, и соответственно осмысленна запись $\mathbb E (I_{Y \in U} | X = x)$.
Во-вторых, через эти индикаторы определяется условное распределение $Y$ при условии $X = x$.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group