Условное математическое ожидание, параметр Пуассона - с.в.

[Zo]

Привет, подскажите пожалуйста как получить такое: $f_{\Theta N}(\theta,\,n)=P(N=n|\,\Theta=\theta)\cdot f_{\Theta}(\theta)$
где N - имеет дискретное распределение, $\Theta$ - непрерывное, $f_{\Theta N}(\theta,\,n)$ - совместная плотность, $f_{\Theta}(\theta)$ - плотность случайной величины $\Theta$

[PAV]

Это некорректно. Если одна из компонент случайного вектора (в данном случае компонента $N$ вектора $(\Theta,N)$) имеет дискретное распределение, то закон распределения вектора не является абсолютно непрерывным и, соответственно, у него нет совместной плотности.

[Zo]

PAV писал(а):

Это некорректно. Если одна из компонент случайного вектора (в данном случае компонента $N$ вектора $(\Theta,N)$) имеет дискретное распределение, то закон распределения вектора не является абсолютно непрерывным и, соответственно, у него нет совместной плотности.

Вобщем взялось это вот откуда: в читаемой книжке N~Poisson($\Theta$), где $\Theta$ имеет гамма-распредление. Автор книжки делает так: сначала говорит, что в случае дискретного $\Theta$ выполнено $P(\theta=\theta|N=n)\cdot P(N=n)=P(N=n|\Theta=\theta)\cdot P(\Theta=\theta)$. Далее в книжке написано "такое же равенство получается и для непрерывного $\Theta$ после замены точечных вероятностей соответствующими плотностями". Далее он высчитывает выражение(с учетом что $\Theta$ имеет гамма-распределение) $P(\Theta=\theta|N=n)=\frac{P(N=n|\Theta=\theta)\cdot P(\Theta=\theta)}{P(N=n)}$, где вместо $P(\Theta=\theta)$ ставит плотность гамма-распределения. В итоге получается, что $P(\Theta=\theta|N=n)$ представляет собой плотность гамма-распредления с некоторыми параметрами. Я подумал, что в книге опечатка и вместо $P(\Theta=\theta|N=n)$ должна быть условная плотность вероятности $f_{\Theta|\,N}$, тогда все становится на свои места с учетом что $f_{\Theta N}(\theta,\,n)=P(N=n|\,\Theta=\theta)\cdot f_{\Theta}(\theta)$.

Да и еще вопрос, верно ли в случае, когда $\Theta$ непрерывна, а N - дискретна, что $P(N=n)=E_{\Theta}((P(N=n|\,\Theta=\theta)))$, где $E_{\Theta}$ - мат.ожидание по $\Theta$ - это ведь формула полной вероятности, да ?

[PAV]

Zo писал(а):

Да и еще вопрос, верно ли в случае, когда $\Theta$ непрерывна, а N - дискретна, что $P(N=n)=E_{\Theta}((P(N=n|\,\Theta=\theta)))$, где $E_{\Theta}$ - мат.ожидание по $\Theta$ - это ведь формула полной вероятности, да ?

Да, это верно. Только это не формула полной вероятности (хотя можно интерпретировать и так), а следует из определения понятия условного математического ожидания.

Добавлено спустя 1 час 14 минут 42 секунды:

По поводу же основного вопроса ответ такой. Практически всегда при работе со всякими байесовскими подходами (если я не ошибаюсь, подобная задача растет именно оттуда) при работе с дискретными распределениями используются вероятности значений, а при работе с непрерывными вместо них подставляется плотность. Последняя является как бы аналогом вероятности.

Строгое же обоснование опирается на понятие условного математического ожидания. В данной задаче обоснование такое. Рассматривается случайный вектор $(\Theta,N)$, первая компонента которого непрерывна, а вторая дискретна. Вообще говоря, распределение любого вектора задается совместной функцией распределения $F(x,y)=P\{\Theta<x,N<y\}$. Но в силу дискретности второй компоненты здесь проще задавать распределение с помощью следующей совместной вероятности $P\{\Theta<x,N=n\}$, переход от которой к функции распределения очевиден.

В данном случае распределение задается так:
$P\{\Theta<x,N=n\}=\int\limits_{-\infty}^{x}\frac{\theta^ne^{-\theta}}{n!}p(\theta)\,d\theta$,
где $p(\theta)$ - плотность гамма-распределения.

Чтобы убедиться, что это действительно так, нужно проверить, что (a) маргинальное распределение $\Theta$ - действительно гамма-распределение, и (b) условная вероятность $P\{N=n|\Theta=\theta\}$ определяется по Пуассону с параметром $\theta$, где условная вероятность понимается в смысле условного математического ожидания относительно случайной величины. Первый пункт решается устно, а второй - это несложное упражнение на определение условного математического ожидания.

После этого остается написать, что
$P\{\Theta<x|N=n\}=\frac{P\{\Theta<x,N=n\}}{P\{N=n\}}$
это обычная условная вероятность. Это получается условная функция распределения, дифференцируя которую получаем условную плотность. Она имеет ровно тот вид, который требуется.

[Zo]

PAV, огромное спасибо за подробное объяснение
А почему условная вероятность $P(N=n|\,\Theta=\theta)$ понимается в смысле условного мат. ожидания? Ведь это же $\frac{e^{-\theta}\theta^n}{n!}$ по определению случайной величины $\theta$

[PAV]

То, чему это равно, дается в условии задачи. Но что это за математический объект? Это нельзя рассматривать как обычную условную вероятность одного события при условии другого, так как в условии стоит событие нулевой вероятности. Такая запись означает именно условное математическое ожидание одной случайной величины относительно другой. Точнее, здесь условная вероятность относительно случайной величины $\theta$, но это все равно понимается как частный случай условного мат. ожидания.

[Zo]

PAV писал(а):

То, чему это равно, дается в условии задачи. Но что это за математический объект? Это нельзя рассматривать как обычную условную вероятность одного события при условии другого, так как в условии стоит событие нулевой вероятности. Такая запись означает именно условное математическое ожидание одной случайной величины относительно другой. Точнее, здесь условная вероятность относительно случайной величины $\theta$, но это все равно понимается как частный случай условного мат. ожидания.

PAV, тогда мне опять понадобится помощь, так как плохо знаю условные мат.ожидания. Как я понял из Ширяева $P(N=n|\,\Theta=\theta)=M(I_{\{\omega:\,N=n\}}|\,\Theta=\theta)$, и $\int\limits_{\{\Theta=\theta\}}^{}M(I_{\{\omega:\, N=n\}}|\Theta=\theta)P_{\Theta}(d\theta)=\int\limits_{\{\Theta=\theta\}}^{}P(N=n|\Theta=\theta)P_{\Theta}(d\theta)$, правильно??? Тогда непонятно как понимать вот это: $\int\limits_{\{\Theta=\theta\}}^{}P(N=n|\Theta=\theta)P_{\Theta}(d\theta)$, ведь это равно нулю, так тета непрерывна?

А так чисто по инженерному, можно найти эту условную вероятность, как я написал ранее ?

[Zo]

PAV писал(а):

В данном случае распределение задается так:
$P\{\Theta<x,N=n\}=\int\limits_{-\infty}^{x}\frac{\theta^ne^{-\theta}}{n!}p(\theta)\,d\theta$,
где $p(\theta)$ - плотность гамма-распределения.

PAV, а это как-нибудь формально, получить можно, или используется "метод пристального взгляда"?

[PAV]

Смотрите сюда. Пусть есть случайная величина $\xi$ и какая-то сигма-алгебра $\cal A$. Случайная величина $\eta$ называется условным м.о. величины $\xi$ относительно $\cal A$ (т.е. $\eta=M(\xi|{\cal A})$), если $\eta$ измерима относительно $\cal A$ и для любого множества $A\in{\cal A}$ выполняется равенство $\int_A\xi\, dP=\int_A \eta\, dP$. Смысл заключается в том, что если какая-то с.в. интегрируется по какому-то событию, то ее можно заменить на условное м.о. относительно любой сигма-алгебры, содержащей это событие.

Когда говорят об условном м.о. относительно некоторой другой с.в.: $\eta=M(\xi|\zeta)$, то имеют в виду условное м.о. относительно сигма-алгебры ${\cal A}_\zeta$, порожденной величиной $\zeta$. Так как $\eta$ должна быть измерима относительно этой сигма-алгебры, то отсюда несложно вывести, что $\eta$ должна быть некоторой измеримой функцией от $\zeta$: $\eta=f(\zeta)$. Когда говорят про $M(\xi|\zeta=z)$, то под этим понимается число, равное $f(z)$.

Когда говорят про условную вероятность некоторого события $X$, то это означает условное м.о. случайной величины, равной индикатору этого события.

В Вашем случае дано, что $P(N=n|\Theta)=\frac{\Theta^ne^{-\Theta}}{n!}$ (*)

Теперь мы хотим найти совместную вероятность $P(N=n,\Theta\in B)$, где $B$ - любое борелевское множество. Выражаем через индикаторы и интеграл по всему пространству $\Omega$:

$$P(N=n,\Theta\in B)=\int_\Omega I(N=n)I(\Theta\in B)dP=\int_{\{\omega:\Theta\in B\}}I(N=n)dP$$

Теперь смотрим: интеграл берется по множеству, принадлежащему сигма-алгебре ${\cal F}_\Theta$, порожденной величиной $\Theta$. Значит, можно заменить случайную величину под интегралом заменить на условное м.о. относительно этой случайной величины, которое известно (*):

$$=\int_{\{\omega:\Theta\in B\}}P(N=n|\Theta)dP=\int_B P(N=n|\Theta=\theta)p(\theta)d\theta,$$

где использована замена переменных под интегралом Лебега. Теперь если взять в качестве $B$ множество $(-\infty,x)$, то получится ровно та формула, которую я привел.

Добавлено спустя 1 час 19 минут 17 секунд:

Впрочем, можно получить результат и "инженерными" методами. Для этого применяется следующий подход, довольно полезный и наглядный. Во всех случаях, когда работаете с плотностью вероятности $p(x)$, умножайте ее на бесконечно малый элемент длины $\Delta x$ и интерпретируйте выражение $p(x)\Delta x$ как вероятность попасть в окрестность точки $x$ размера $\Delta x$. На самом деле это и есть эта вероятность, только с точностью до слагаемых большего порядка малости (строго говоря, если плотность обладает достаточной степенью гладкости в этой точке).

Тогда вы уже работаете с обычными ненулевыми вероятностями событий. Та формула, которую здесь нужно получить - это просто формула Байеса для обычных событий.

Обычно этот подход хорошо работает. Использовать его для доказательств я бы не стал (тогда в любом случае это нужно делать аккуратнее), но понимать и интерпретировать уже готовые формулы он очень хорошо помогает.

[Zo]

PAV, огромное спасибо за столь подробное объяснение - тервер стал понятнее Я просто сначала неправильно понял фразу "нужно проверить, что (b) условная вероятность $P\{N=n|\Theta=\theta\}$ определяется по Пуассону с параметром $\theta$, где условная вероятность понимается в смысле условного математического ожидания относительно случайной величины." Т.е. я думал надо вывести формулу $P(N=n|\,\Theta=\theta)=\frac{e^{-\theta}\theta^n}{n!}$ из определения условного мат. ожидания, а оказалось надо всего лишь проверить было что это у.м.о.