Смешанные распределения

[Sdy]

Есть у меня пара вопросов по поводу строгого вывода нескольких понятий в теории вероятностей. Я понимаю, что тут хорошо бы сесть и с нуля это всё разбирать по книгам из теории меры, но к сожалению, сейчас физически нет на это времени. Хотелось бы получить хотя бы базовую интуицию "а почему это законно", чтобы хотя бы без недоверия можно было работать с этими объектами.
Первый вопрос касается смешанных распределений, второй условных распределений/формулы Байеса в общем виде, но там даже сформулировать "претензии" тяжеловато, начну с первого вопроса.
Стандартное "определение" которое я видел для самой примитивной случайной величины $X$, имеющей смешанное распределение, выглядит как-то так:

$$X = \begin{cases} Y, \text{где $Y$ имеет дискретное распределение}, \text{ с вероятностью $p$} \\ Z, \text{где $Z$ имеет непрерывное распределение}, \text{ с вероятностью $1-p$}\quad\end{cases}$$

Опишу какую-то свою интуицию по поводу случайных величин. Начну с того что, главный объект, связанный со случайной величиной $X$, это индуцированная ею мера $\mathbb{P}_X(B) = \mathbb{P}(X \in B)$ для всякого борелевского множества $B$. Ну и засчёт этого у нас всегда с корректно определённой случайной величиной можно связать тройку $(\mathbb{R}, \mathfrak{B}, \mathbb{P}_X)$. Весь вопрос, как эту самую меру индуцировать.
Я в какой-то мере привык, что случайные величины имеются двух типов -- дискретные случайные величины и непрерывные случайные величин.
Для дискретных случайных величин всё вообще замечательно, меру можно задать поточечно, поэтому удобно вести функцию вероятности (probability mass function) $p_X(x) := \mathbb{P}(X=x)$.

А непрерывной случайной величиной мы называем случайную величину, для которой индуцируемую ею меру можно задать с помощью интеграла от функции $f(\cdot)$, называемой функцией плотности вероятности : для всякого борелевского множества $B, \mathbb{P}_X(B) = \int\limits_{B}f(x)dx$, причём эта функция должна быть неотрицательна и интеграл от неё по всей вещественной прямой должен равняться $1$.

Далее мы говорим, что есть универсальный способ описания мер -- через функции распределения. Есть теорема, которая говорит, что по каждой корректно заданной функции распределения можно однозначно восстановить меру.
И если я правильно понимаю, то законность существования смешанных распределений гарантирует именно функция распределения.

Для случайной величины $X$ имеющей вид, заданный выше, попробуем вывести её функцию распределения.
Пусть событие $A_1$ заключается в том что случайная величина $X$ равна случайной величине $Y$, событие $A_2$ -- заключается в том что случайная величина $X$ равна случайной величине $Z$. Верно ли я понимаю, что мы сами, так сказать, из условия задачи знаем, что $\mathbb{P}(X=Y)=\mathbb{P}(A_1)=p$ и $\mathbb{P}(X=Z)=\mathbb{P}(A_2)=1-p$? Также мы сами говорим, что третьего не дано -- а значит это разбиение пространства элементарных исходов, которое, как я понимаю, в этом случае $\Omega = \mathbb{R}.$
Тогда можно ввести ещё третье событие $B =\{X \leq x\}$ для некоторого фиксированного $x \in \mathbb{R}$.
По формуле полной вероятности,
$\mathbb{P}(B)=\mathbb{P}(B|A_1)\mathbb{P}(A_1) + \mathbb{P}(B|A_2)\mathbb{P}(A_2)$.
Тут снова некоторое допущение делаю -- считаю, что раз мы знаем, что как только $X=Y$, так у $X$ непрерывное распределение, которое было у $Y$, значит $\mathbb{P}(B|A_1)=F_Y(x)$. Такие моменты меня немного смущают. То есть вроде бы и я сам это в условии задаю, а вроде как я это из ниоткуда взял. Ну и считаю по тем же причинам , что $\mathbb{P}(B|A_2)=F_Z(x)$.

Тогда, для каждого $x \in \mathbb{R}$, $F_X(x) = \mathbb{P}(B) = pF_Y(x)+(1-p)F_Z(x)$.
Вроде как я даже явно могу проверить, что заданная таким образом функция $F_X(\cdot)$ действительно является функцией распределения, то есть удовлетворяет свойствам функции распределения, например, пределы на бесконечностях у неё правильные.

И несмотря на то что вроде бы я её и получил логичным образом и судя по всему, если просто сразу написать эту формулу, то она чисто формально будет функцией распределения, я всё равно не чувствую уверенности что всё было корректно. Я не нашёл какого-то более менее подробного и не поверхностного материала по смешанным распределениям, хотя очевидно, что они очень полезны на практике и и я регулярно вижу как люди их совершенно спокойно используют.

Поэтому, помимо вопросов, которые я задал по ходу, мне интересно, всё ли у меня верно в моих рассуждениях? Какие-то дальнейшие вопросы тогда спрошу, если кто-то текущие рассуждения прокомментирует, может уже тут проблемы.

[Евгений Машеров]

Мне кажется, надо различать "прагматический уровень понимания" и "теоретический". Поскольку с точки зрения теории вообще нет разницы между дискретными и непрерывными распределениями, только иногда приходится использовать обобщённые функции. А на уровне сугубо прикладном - вопрос, какjq справочник доставать, по суммам или интегралам, существенен. А иногда и то надо, и то, с вероятностью p.

[alisa-lebovski]

На самом деле, в теории вероятностей, есть три чистых типа распределений: дискретные, непрерывные и (строго) сингулярные. Есть теорема, что каждое распределение раскладывается в смесь распределений этих трех типов.

А Ваши рассуждения, в общем, верны. Несколько понятнее, на мой взгляд, вместо $Y$ и $Z$ обозначить $X_1$ и $X_2$, и ввести величину $\nu$,
равную $1$ с вероятностью $p$ и $2$ с вероятностью $1-p$ (в предположении, что она не зависит от $X_1,X_2$), далее взять $X=X_\nu$.

[mihaild]

Sdy в сообщении #1601190 писал(а):

Верно ли я понимаю, что мы сами, так сказать, из условия задачи знаем, что $\mathbb{P}(X=Y)=\mathbb{P}(A_1)=p$ и $\mathbb{P}(X=Z)=\mathbb{P}(A_2)=1-p$?

В смысле вероятностей - да, но только потому что $Z$ непрерывное. Если бы у нас была смесь двух дискретных, то может оказаться, что обе компоненты смеси просто совпали.
Множество $A_1 \cap A_2$, вообще говоря, может быть не пусто даже в непрерывном случае (хотя и имеет нулевую меру).

Sdy в сообщении #1601190 писал(а):

Я в какой-то мере привык, что случайные величины имеются двух типов -- дискретные случайные величины и непрерывные случайные величин.

Кроме этих двух (и их смесей) бывают еще сингулярные - когда вероятность каждой точки ноль, но плотности нет. И есть теорема Лебега о разложении меры, что любое распределение это смесь дискретного, непрерывного и сингулярного.

В остальном рассуждения правильные - функция распределения смеси есть комбинация функций распределений компонент.
Почитать формально можно у Ширяева. Хотя отдельно смеси вроде бы нигде не рассматриваются - ничего сильно интересного с ними не происходит.

[Sdy]

alisa-lebovski в сообщении #1601218 писал(а):

Есть теорема, что каждое распределение раскладывается в смесь распределений этих трех типов.

mihaild в сообщении #1601220 писал(а):

Кроме этих двух (и их смесей) бывают еще сингулярные - когда вероятность каждой точки ноль, но плотности нет. И есть теорема Лебега о разложении меры, что любое распределение это смесь дискретного, непрерывного и сингулярного.

Спасибо, я видел эту теорему в Ширяеве, удивительная штука (для меня), жаль он её не доказывает. С сингулярными распределениями работать не приходилось, поэтому я про них не писал. Разве что когда разбирал какие-то предельные случаи с нормальным распределением с дисперсией, стремящейся к нулю.

mihaild в сообщении #1601220 писал(а):

В смысле вероятностей - да, но только потому что $Z$ непрерывное. Если бы у нас была смесь двух дискретных, то может оказаться, что обе компоненты смеси просто совпали.

Спасибо.

mihaild в сообщении #1601220 писал(а):

Хотя отдельно смеси вроде бы нигде не рассматриваются - ничего сильно интересного с ними не происходит.

Я пробовал найти что-то в Ширяеве, Боровкове и книге Grimmett. В последней есть пример, но про корректность ничего нет. В первых двух не увидел ничего подходящего.
Не знаю, как-то для меня работа с ними не очень интуитивна с точки зрения теории. Хорошо хоть вы говорите что вывод функции распределения такой случайной величины у меня корректен.
Например, с математическим ожиданием.
Я видел, что его полагают равным $\mathbb{E}[X]=\mathbb{P}(A_1)\mathbb{E}(X|A_1)+\mathbb{P}(A_2)\mathbb{E}(X|A_2)$.
Это же не определение, это же тоже нужно выводить?
В случае непрерывной случайной величины мне понятно что такое $\mathbb{E}X$, в случае дискретной, это вообще, так сказать, школьный объект. Также я знаю что есть способ унификации определения математического ожидания для обоих случаев с помощью построения более общего интеграла, нежели чем интеграл Римана. Но я не работал с ним плотно. Только строил интеграл Лебега на уровне книги Коралова, Синая, (начиная с простых случайных величин, потом неотрицательных, а потом произвольных) но за неимением времени это нормально потрогать и за прошествием времени после той процедуры, я не знаю, достаточно ли мне сейчас тех знаний, чтобы вывести чему равно $\mathbb{E}X$ когда распределение $X$ является смесью распределений.

Евгений Машеров в сообщении #1601210 писал(а):

Мне кажется, надо различать "прагматический уровень понимания" и "теоретический". Поскольку с точки зрения теории вообще нет разницы между дискретными и непрерывными распределениями, только иногда приходится использовать обобщённые функции. А на уровне сугубо прикладном - вопрос, какjq справочник доставать, по суммам или интегралам, существенен. А иногда и то надо, и то, с вероятностью p.

Видите, с точки зрения интуиции эти формулы выглядят просто. Кинули монетку, выпала одна функция распределения, кинули монетку, выпало одно математическое ожидание. Но мне как-то нужно вписать это так сказать, в мою картину мира, с точки зрения анализа. Иначе я постоянно буду чувствовать "инородность" такого объекта, а это мешает мне с ними работать. Вместо того чтобы, как вы говорите, взять и посмотреть в справочнике интеграл, если монетка упала орлом, я начинаю думать, а как это вообще соотносится с той теорией, которая в более простых случаях выглядела для меня довольно гармоничной.

[alisa-lebovski]

Sdy в сообщении #1601242 писал(а):

Это же не определение, это же тоже нужно выводить?

В двух словах. Случайная величина приближается простыми, т.е. линейной комбинацией индикаторов. Математическое ожидание, соответственно, линейной комбинацией вероятностей. К этим вероятностям применяем формулу полной вероятности.

[mihaild]

Sdy в сообщении #1601242 писал(а):

Разве что когда разбирал какие-то предельные случаи с нормальным распределением с дисперсией, стремящейся к нулю.

Это дискретное будет.
Сингулярное - это когда вероятность попасть в любую точку ноль, но есть множество нулевой меры, вероятность попасть в которое единица.

Sdy в сообщении #1601242 писал(а):

но за неимением времени это нормально потрогать и за прошествием времени после той процедуры, я не знаю, достаточно ли мне сейчас тех знаний, чтобы вывести чему равно $\mathbb{E}X$ когда распределение $X$ является смесью распределений.

Чтобы это вывести, нужно сначала дать определение:) И да, определяется мат. ожидание через интеграл Лебега.

[Sdy]

mihaild в сообщении #1601263 писал(а):

Это дискретное будет.
Сингулярное - это когда вероятность попасть в любую точку ноль, но есть множество нулевой меры, вероятность попасть в которое единица.

Понятно, ну я слышал про лестницу Кантора, когда-то встречал этот пример, но разбирать его времени не было, только название осталось в голове.

mihaild в сообщении #1601263 писал(а):

Чтобы это вывести, нужно сначала дать определение:) И да, определяется мат. ожидание через интеграл Лебега.

alisa-lebovski в сообщении #1601247 писал(а):

В двух словах. Случайная величина приближается простыми, т.е. линейной комбинацией индикаторов. Математическое ожидание, соответственно, линейной комбинацией вероятностей. К этим вероятностям применяем формулу полной вероятности.

А где-то подробнее можно на это посмотреть?
Я определял математическое ожидание так : для начала скажем, что простая случайная величина это такая случайная величина $\xi$, что существует разбиение $\Omega = A_1 \cup .... \cup A_n : \xi = \sum\limits_{i=1}^{n}y_k\mathbf{1}_{A_k}$, где $\forall 1 \leq k \leq n ~~~ y_k \in \operatorname{ran}(\xi)$.
Далее я положил по определению для простой случайной величины $\mathbb{E}\xi:=\sum\limits_{i=1}^{n}y_k\mathbb{P}(A_k).$

Далее для произвольной неотрицательной случайной величины $\xi$ я положил

$\mathbb{E}\xi:=\lim\limits_{n\to+\infty}\mathbb{E}\xi_n$, где $(\xi_n)_{n \geq 1}$ это возрастающая последовательность простых случайных величин, сходящаяся к $\xi$.
Тут было много сложностей с существованием предела, независимости значение предела и далее было конструктивное построение этой самой последовательности.

А потом мы сказали, что для произвольной случайной величины $\xi$, $\mathbb{E}\xi : = \mathbb{E}\xi_+ + \mathbb{E}\xi_-$, где $\xi_+ = \max\{\xi, 0\}$ ,$\xi_- = \max\{-\xi, 0\}$ и мучительно начали выводить два десятка свойств математического ожидания. Также мучительно была выведена формула подсчёта математического ожидания для непрерывной случайной величины $X$, $\mathbb{E}X = \int\limits_{\mathbb{R}}xf_X(x)dx$, для дискретной всё попроще.

Собственно говоря, если $X$ у меня такая, как в стартовом посте, с ней мне что делать? Я думал, может проще её представить как $X = WY + (1-W)Z$, где $W \sim \operatorname{Bern}(p)$ независима с $Y,Z$.
Но тут вопрос, в каком смысле это представление эквивалентно тому что я дал в стартовом посте и как мне это показать. Зато математическое ожидание тогда сразу выписывается.

[mihaild]

Sdy в сообщении #1601340 писал(а):

А где-то подробнее можно на это посмотреть?

В том же Ширяеве.

Вы вполне правильно описали построение интеграла Лебега (есть несколько вариантов, как приближать последовательностью простых, но монотонно возрастающей - один из стандартных). В принципе для построения мат. ожидания можно обойтись функциями распределения и интегралом Стилтьеса, но особого смысла в этом нет.

Sdy в сообщении #1601340 писал(а):

Но тут вопрос, в каком смысле это представление эквивалентно тому что я дал в стартовом посте и как мне это показать

Ровно эквивалентно, потому что это и есть формальное определение смеси. Без него непонятно, что значит "случайная величина равна одной или другой с такими-то вероятностями".

[alisa-lebovski]

mihaild в сообщении #1601347 писал(а):

Ровно эквивалентно, потому что это и есть формальное определение смеси. Без него непонятно, что значит "случайная величина равна одной или другой с такими-то вероятностями".

Это хорошо для смеси двух распределений, а не в общем случае. В общем случае придется тогда умножать на случайный вектор с одной единицей и остальными нулями.

[Sdy]

mihaild в сообщении #1601347 писал(а):

В том же Ширяеве.

А можете сказать, куда мне там именно смотреть? У меня есть оба тома, в первом действительно есть теорема о том что всякую функцию распределения можно разложить на сумму функции распределения дискретной случайной величины, непрерывной и сингулярной.
И по-моему, на этом всякие упоминания смешанных распределений заканчиваются.
Вообще, мой библиографический поиск по темам смешанных распределений и смешанной формулы Байеса не выдал ничего мне подходящего. То есть с одной стороны, меня не устраивает "практический" подход, когда смешанная формула Байеса выводится через "вероятность случайной величины попасть в инфинитезимальный" промежуток, с другой стороны, рассуждения у Durrett в "Probability and Examples", где это делается в одну строчку, тоже не вызывают никакого доверия.
С третьей стороны, я сам её доказывал вот в таком виде : $\mathbb{E}[g(\eta)|\xi=x]=\frac{\mathbb{E}[g(\eta)\rho_{\xi|\eta}(x|y)]}{\mathbb{E}[\rho_{\xi|\eta}(x|y)]}$. Причём формально доказательство понятное. Но вот как доходит до приложения, возникают сомнения, почему это работает так. Могу расписать подробнее, если нужно.

Складывается ощущение, что практикам не очень интересно как это всё выводить, потому что интуитивно кажется что оно так и должно работать, а для теоретиков это видимо что-то простое, что они в не очень интересные упражнения выносят. Найти бы середину какую-то.

[mihaild]

Sdy в сообщении #1602817 писал(а):

А можете сказать, куда мне там именно смотреть? У меня есть оба тома, в первом действительно есть теорема о том что всякую функцию распределения можно разложить на сумму функции распределения дискретной случайной величины, непрерывной и сингулярной.

Это был ответ на вопрос, куда смотреть про определение математического ожидания. В издании 1979 года - первый том, 2 глава, 6 параграф. Оно определяется для произвольных случайных величин, в том числе получающихся смешиванием.

Sdy в сообщении #1602817 писал(а):

смешанная формула Байеса выводится через "вероятность случайной величины попасть в инфинитезимальный" промежуток

А что такое "смешанная формула Байеса"?

Sdy в сообщении #1602817 писал(а):

С третьей стороны, я сам её доказывал вот в таком виде : $\mathbb{E}[g(\eta)|\xi=x]=\frac{\mathbb{E}[g(\eta)\rho_{\xi|\eta}(x|y)]}{\mathbb{E}[\rho_{\xi|\eta}(x|y)]}$.

Вообще говоря, когда у $\xi$ недискретное распределение, это довольно сложная штука (в частности, то что слева не является функцией от $x$).

Я не очень понимаю, в чем проблема. Есть универсальные определения для произвольных случайных величин. Из них выводятся более удобные при вычислениях для случая дискретных и непрерывных величин. Из тех же универсальных определений можно вывести формулы для смешанных величин, выражающих нужные характеристики через характеристики компонент смеси, а для компонент считать уже как обычно.

[Sdy]

mihaild в сообщении #1602823 писал(а):

А что такое "смешанная формула Байеса"?

Ну в прикладной литературе "mixed Bayes rule" это вот такие два утверждения :

$p_{K|Y}(k|y)=\frac{p_K(k)\cdot f_{Y|K}(y|k)}{f_Y(y)}=\frac{p_K(k)\cdot f_{Y|K}(y|k)}{\sum\limits_{k'}p_K(k')f_{Y|K}(y|k')}$
Где $p_{K|Y}(k|y)$ это условная функция вероятности, а $f_{Y|K}(y|k)$ это условная плотность, и

$f_{Y|K}(y|k)=\frac{f_Y(y)\cdot p_{K|Y}(k|y) }{p_K(k)}=\frac{f_Y(y)\cdot p_{K|Y}(k|y) }{\int\limits_{\R}f_Y(y')p_{K|Y}(k|y')dy'}$.
Обе эти формулы это следствия формулы : $\mathbb{E}[g(\eta)|\xi=x]=\frac{\mathbb{E}[g(\eta)\rho_{\xi|\eta}(x|y)]}{\mathbb{E}[\rho_{\xi|\eta}(x|y)]}$

mihaild в сообщении #1602823 писал(а):

Оно определяется для произвольных случайных величин, в том числе получающихся смешиванием.

mihaild в сообщении #1602823 писал(а):

Я не очень понимаю, в чем проблема. Есть универсальные определения для произвольных случайных величин.

Я понял что не понимаю чего-то фундаментального, и нужно думать больше, чтобы хотя бы свои претензии корректно сформулировать. Просто бывает так что формальное доказательство не вызывает доверия, не приживается как-то в голове идейно, и легче становится если где-то в другом месте услышать/посмотреть объяснение, может из под другого ракурса. Спасибо, подумаю ещё.