Условное математическое ожидание, сравнение распределений

[vinchkovsky]

Здраствуйте.

Есть такая задача:

Пусть $W$ - параметр, принимающий два значения $w_1$ и $w_2$ с априорными вероятностями $Pr(W=w_1)=\xi$ и $Pr(W=w_2)=1-\xi$. Предположим, что производится наблюдение $X$ с условной плотностью распределения $f(\cdot|w_i), i=1,2$. Обозначим через $\xi(x)$ апостериорную вероятность того, что $W=w_1$, когда $X=x$.
1) Покажите, что $E(\xi(X))=\xi$, где математическое ожидание вычисляется в предположении, что $W$ имеет указанное априорное распределение.
2) Докажите, что если $W=w_1$, то $E(\xi(X))\geqslant\xi$. Это упражнение можно интепритировать как утверждение о том, что в среднем апостериорное распределение приписывает правильному значению $W$ большую вероятность, чем априорное.
3) Пусть $\xi=1-\xi=1/2$. Предполагая, что $W=w_1$, докажите, что при всех $e (0 < e < 1): Pr(\xi(X)\leqslant e)\leqslant e/(1-e)$. Это упражнение может быть истолковано как утверждение, что апостериорное распределение припишет истинному значению $W$ малую вероятность лишь с малой же вероятностью.

Первый пункт я сделал - нашел $\xi(x)$ по теореме Байеса, далее - два условных математических ожидания, а потом среднее меджу ними. Второй пункт кажется легким, но решить не получается :(
Третий - не знаю, что делать. В нас есть условная плотность $X$ и функция от него - $\xi(X)$. Как из этого найти плотность функции, чтобы найти вероятность - непонятно. Искал в интернете, находил формулы только для монотонных функций.

Буду благодарен за помощь.

[vinchkovsky]

Никто не поможет?
Второй пункт можно переформулировать так:
Доказать, что $\int_{-\infty}^{\infty} \frac {\xi \cdot (f(x|w_1))^2} {\xi \cdot f(x|w_1) + (1-\xi) \cdot f(x|w_2)} dx \geqslant \xi$, где $\xi \in [0,1]; f(x|w_1), f(x|w_2)$ - условные плотности вероятности величины $X$. Это если я правильно понял условие, а это вроде бы так - проверка в Maple на нескольких примерах подтвердила формулу. А как доказать - не знаю :(

[vinchkovsky]

Так, второй пункт вроде бы тоже сделал. Двигался не в том направлении. Если отнять от мат.ожидания апостериорного распределения мат.ожидание априорного, выходит интеграл, подинтегральное выражение которого больше 0 (если я нигде не ошибся), т.е. и разница больше 0 и выходит то, что надо.

Остался третий пункт.

[_hum_]

vinchkovsky в сообщении #516562 писал(а):

Никто не поможет?

Может, потому, что обозначения у вас, мягко говоря, не совсем удачные - прочесть с ними условия задачи очень сложно. Например, символом $\xi$ вы в одном месте обозначаете число (значение априорной вероятности), а в другом - функцию, причем уже апостериорной вероятности.

[vinchkovsky]

Такие в книге обозначения, ДеГроот "Оптимальные статистические решения" :(
Попробую переписать, с учетом того, что я уже сделал первый и второй пункт (напр., в "новом" условии указанной проблемы нету, т.к. $\xi = \frac 1 2$).

Пусть $W$ - параметр, принимающий два значения $w_1$ и $w_2$ с равными вероятностями: $Pr(W=w_1)=Pr(W=w_2)= \frac 1 2.
Предположим, что производится наблюдение величины $X$ с условными плотностями распределения $f(\cdot|w_i), i=1,2$ (в зависимости от значения $W$ - разная плотность).
Пусть $\xi(x)=Pr(W=w_1|X=x)$ (условная вероятность того, что $W=w_1$, в зависимости от значения $X$).
Предполагая, что $W=w_1$, докажите, что при всех $\alpha \in (0,1): Pr[\xi(X)\leqslant \alpha]\leqslant \frac \alpha {1-\alpha}$.

Что известно (с тех пунктов, которые я доказал, и которые в этом условии не писал):
$\xi(x)=\frac {f(x|w_1)} {f(x|w_1)+f(x|w_2)}$ (с теоремы Байеса)
$E(\xi(x)|W=w_1) = \int_{-\infty}^{\infty}\frac {f(x|w_1)^2} {f(x|w_1)+f(x|w_2)} dx \geqslant \frac 1 2$ (результат второго пункта)

У нас есть ф-я от величины $X: \xi(X)$
И есть плотность распределения $X: f(x|w_1)$
Как имея это, ограничить ф-ю распределения $\xi(x)$? Пробовал искать, как найти ф-ю распределения функции от случайной величины, но всюду требуется монотонность функции.
Еще нашел неравенство Маркова, которое связывает мат.ожидание и ф-ю распределения, но там вроде бы выходит оценка в другую сторону. Может есть еще какие-то подобные неравенства, которыми можно решить задачу?

[_hum_]

Что-то все равно далекое от моего понимания...
Но чисто математически, может, стоит, пользуясь тем, что $f(x) = \frac{1}{2} f(x|w_1) + \frac{1}{2} f(x|w_2)$, напрямую выписать

$$Pr[\xi(X) \leq \alpha] = \int_{\xi(x) \leq \alpha}f(x)dx = \frac{1}{2}\int_{\frac{f(x|w_1)}{f(x|w_1) + f(x|w_2)}\, \leq\, \alpha}\big(f(x|w_1) + f(x|w_2)\big)dx,$$

и уже отсюда "плясать".

[vinchkovsky]

Спасибо за ответ. А так можно писать? Т.е., в общем случае (в отрыве от задачи), если есть случайная величина $\xi$ с плотностью $f$, и случайная величина $\eta=g(\xi)$, то действительно ли ф-я распределения последней будет иметь такой вид - $F_\eta (x)=\int_{g(\xi)<x}f(\xi)d\xi$, если я правильно понял? Если бы в этой формуле была не $f$, а плотность величины $\eta=g(\xi)$, то формула была бы верной за определением (если я не ошибаюсь).

Да и я так понимаю, что плотностью $X$ надо считать $f(x|w_1)$, потому что в условии сказано, что $W=w_1$.

На всякий случай, скрин с книги:

[_hum_]

vinchkovsky в сообщении #516633 писал(а):

А так можно писать?

$Pr[\xi(X) \leq \alpha]$, по смыслу, это вероятность события, что случайная величина $X$ примет значение $x$, удовлетворяющее условию $\xi(x) \leq \alpha$ (или, иными словами, что значение с.в. $X$ попадет в множество $\{x: \xi(x) \leq \alpha\}$). С другой стороны, известно, что вероятность любого события $A\subset\mathbb{R}$, связанного со случайной величиной $X$, имеющей плотность распределения $f = f(x)$, может быть выражена через интеграл от плотности, взятый по множеству, отвечающему данному событию: $Pr[A] = \int_A f(x)dx$. Сопоставление этих двух фактов и должно ответить на ваш вопрос.

Цитата:

Да и я так понимаю, что плотностью $X$ надо считать $f(x|w_1)$, потому что в условии сказано, что $W=w_1$.

Этого я не понял.

[--mS--]

vinchkovsky в сообщении #516576 писал(а):

Остался третий пункт.

Да третий очевиден: $\xi(X)=\frac{f_1(X)}{f_1(X)+f_2(X)}$, разрешаете неравенство $\xi(X)<\varepsilon$ относительно $\frac{f_2(X)}{f_1(X)}$, получаете вероятность

$$\mathsf P\left(\frac{f_2(X)}{f_1(X)} > \frac{1-\varepsilon}{\varepsilon} \,\biggm|\, W=\omega_1\right),$$

ну и оцениваете последнюю неравенством Маркова, в котором $\mathsf E\left(\frac{f_2(X)}{f_1(X)}\, \bigm|\, W=\omega_1\right)=1$.

Вот откуда во втором неотрицательность чего-то под интегралом взялась, не вижу. У меня получается, что

$$\mathsf E(\xi(X)|W=\omega_1)-\xi = \int_{\mathbb R}\frac{\xi(1-\xi)f_1^2(x) - \xi(1-\xi)f_1(x)f_2(x)}{\xi f_1(x)+(1-\xi)f_2(x)}\, dx$$

.

[vinchkovsky]

--mS--, спасибо, не додумался.
Да, во втором ошибся. Буду еще думать; также буду благодарен за подсказки по этому пункту.

Такой вопрос: $Pr(\xi(X)\geqslant\xi|W=w_1)$, или тоже самое - $Pr[(Pr(W=w_1 | X) \geqslant \xi) | W=w_1]$ будет равна единице? Это ведь вероятность того, что условная вероятность того, что $W=w_1$ больше $\xi$, если $W=w_1$. Если да, то второй пункт вроде бы тоже за неравенством Маркова решается, если я ничего не напутал.

[--mS--]

vinchkovsky в сообщении #516707 писал(а):

Такой вопрос: $Pr(\xi(X)\geqslant\xi|W=w_1)$, или тоже самое - $Pr[(Pr(W=w_1 | X) \geqslant \xi) | W=w_1]$ будет равна единице?

Да нет, конечно. Она равна вероятности, с которой $\xi(X)=\frac{\xi f_1(X)}{\xi f_1(X) + (1-\xi)f_2(X)} \geqslant \xi$, если случайная величина $X$ имеет плотность $f_1(x)$. При этом $\xi(X)$ имеет вообще говоря, абсолютно непрерывное распределение. Так что, я боюсь, такая оценка по неравенству Маркова не поможет.

-- Вс дек 18, 2011 19:48:54 --

Нет слов. Это просто издевательство над свободной личностью... Неравенство Йенсена...
Давайте для краткости УМО по событию ${W=\omega_1}$ буду маркировать индексом 1.

$$\mathsf E_1(\xi(X)) = \mathsf E_1\left(\frac{\xi f_1(X)+(1-\xi)f_2(X)}{\xi f_1(X)}\right)^{-1} \geqslant \frac{1}{\mathsf E_1\left(\frac{\xi f_1(X)+(1-\xi)f_2(X)}{\xi f_1(X)}\right)} = \frac{1}{1+\frac{1-\xi}{\xi}\mathsf E_1\frac{f_2(X)}{f_1(X)}} = \xi.$$

[vinchkovsky]

Спасибо, только до конца не понимаю, как тут было применено неравенство Йенсена
Тут используется выпуклось $\frac 1 x$ и больше ничего? Если да, то почему можно писать вместо агрумента $x$ другую функцию?
Если нет, то что? Нашел, например, свойство, что если $h(x)$-вогнутая, то $\frac 1 {h(x)}$ - выпуклая, если $h(x)>0$ - только непонятно, что с ним делать.

[--mS--]

Неравенство Йенсена, функция $1/x$ выпукла.

[ferbolg]

А на основании чего сделан вывод о том, что функция $\xi(X) имеет вид

$$\xi(X)=\frac{\xi f_1(X)}{\xi f_1(X) + (1-\xi)f_2(X)}$$

? Нам ведь вообще говоря известна только вероятность $\xi(x)$ по теореме Байеса, имеем ли мы право в эту формулу подставить вместо конкретного значения $x$ переменную величину $X$ и получить написанную вначале формулу? Возможно, у меня в голове просто возникла путаница насчет форм записи...Скажем, если описывается плотность распределения вероятности переменной величины $X$ , то тот же Де Гроот пишет что-то вроде (пример) $f(x)=2x-1$, то есть он как бы при задании плотностей использует конкретные значения переменной величины. Сообственно, что я хочу спросить, корректно ли будет писать $f_1(X)$, $f_2(X)$ ?

[ferbolg]

--mS-- в сообщении #516775 писал(а):

vinchkovsky в сообщении #516707 писал(а):

Такой вопрос: $Pr(\xi(X)\geqslant\xi|W=w_1)$, или тоже самое - $Pr[(Pr(W=w_1 | X) \geqslant \xi) | W=w_1]$ будет равна единице?

Да нет, конечно. Она равна вероятности, с которой $\xi(X)=\frac{\xi f_1(X)}{\xi f_1(X) + (1-\xi)f_2(X)} \geqslant \xi$, если случайная величина $X$ имеет плотность $f_1(x)$. При этом $\xi(X)$ имеет вообще говоря, абсолютно непрерывное распределение. Так что, я боюсь, такая оценка по неравенству Маркова не поможет.

-- Вс дек 18, 2011 19:48:54 --

Нет слов. Это просто издевательство над свободной личностью... Неравенство Йенсена...
Давайте для краткости УМО по событию ${W=\omega_1}$ буду маркировать индексом 1.

$$\mathsf E_1(\xi(X)) = \mathsf E_1\left(\frac{\xi f_1(X)+(1-\xi)f_2(X)}{\xi f_1(X)}\right)^{-1} \geqslant \frac{1}{\mathsf E_1\left(\frac{\xi f_1(X)+(1-\xi)f_2(X)}{\xi f_1(X)}\right)} = \frac{1}{1+\frac{1-\xi}{\xi}\mathsf E_1\frac{f_2(X)}{f_1(X)}} = \xi.$$

А не должно ли быть в соответствии с неравенством Йенсена $\mathsf E(\xi(X))\geqslant\xi( {\mathsf E(X))}$ в правой части в знаменателе написано что-то вроде

$$ \mathsf {\frac {\xi f_1(E(X))+(1-\xi)f_2(E(X))} {\xi f_1(E(X))}}$$

, то есть мы должны подставить мат. ожидание от $X$ в $f_1$, $f_2$. Возможно, я пишу глупость и не совсем понимаю, что от чего зависит. Будьте добры, подскажите, куда смотреть