Оценивание условных вероятностей

[Vandaler]

Помогите найти статьи по данной теме. Имеется выборка из пар независимых одинаково распределённых как $(X,Y)$ дискретных случайных величин. Требуется оценить условные вероятности $X$ при условии $Y=1$. Нужны законы больших чисел в такой задаче.

Нахожу литературу для абсолютно непрерывных величин, а такой простой случай не нахожу.

Lia: завтра у модератора 8 марта, формулы будете сами оформлять.

[Евгений Машеров]

Э, а тупо сделать подвыборку по критерию $Y=1$ и для неё получить распределение X?

[Vandaler]

Да, именно так, тупо по выборке с условием оценить. Только нужно всё это грамотно формально расписать. Первое, что приходит в голову - просто рассмотреть выборку $\{X_i,Y_i\}_{i=1}^N$ как выборку при условии $\{Y_1 = 1, \dots, Y_N = 1\}$, применить для условно независимых событий обычный ЗБЧ, но рассматривать вероятностную меру $P(X \in \cdot| Y = 1)$. Однако такой подход с рассмотрением другой меры раскритиковали. Поэтому хотелось бы найти статью, на которую можно было бы просто сослаться в такой ситуации. Нужна именно сходимость к условной вероятности.

[Vandaler]

Немного из пушки по воробьям, но помогает вот эта статья: http://www.emis.de/journals/HOA/JAMSA/Volume6_1/9.pdf
С этими теоремами можно сделать корректный вывод о сходимости оценки условной вероятности.

[--mS--]

То ли я чего-то не понимаю, то ли Вы не всё нам сообщаете. Величины дискретны,

$$\mathsf P(X=k|Y=1)=\dfrac{\mathsf P(X=k, Y=1)}{\mathsf P(Y=1)}.$$

Вероятности и в числителе, и в знаменателе есть п.н. предел соответствующих частот ($n$ - общий объём выборки):

$$\dfrac1n\sum_{i=1}^n I(X_i=k, Y_i=1) \to \mathsf P(X=k, Y=1),$$

$$\dfrac1n\sum_{i=1}^n I(Y_i=1) \to \mathsf P(Y=1),$$

и их отношение п.н. сходится к нужной условной вероятности. Зачем тут какие-то новые теоремы, банаховы пространства и т.п.?

[Vandaler]

Да, прошу прощения, забыл сказать, писал с телефона.
Выборка формируется таким образом, что для каждого $k$ наблюдений с $Y = k$ одинаковое количество. Таким образом, выборка $\{(X,Y)\}_{i=1}^N$ рассматривается как выборка при условии $\{\omega: Y_1 = y_1, \dots, Y_N = y_N \}$, которое и задаёт величины групп наблюдений. Поэтому $P(Y=1)$ для нас недоступно.

[--mS--]

Плохо понимаю, что есть "выборка при условии". Т.е. у Вас нет никакой выборки $(X_1, Y_1),\ldots, (X_n, Y_n)$ независимых и одинаково распределённых пар случайных величин?

Очередная попытка понять, что дано: пусть для каждого $k$ распределение $F_k(\cdot)$ есть в точности условное распределение $F_k(j)=\mathsf P(X=j|Y=k)$. Т.е. у нас есть кучка распределений - столько, сколько у игрека возможно значений. Наблюдается $m$ независимых случайных величин $Z_1,\ldots,Z_m$ с распределением $F_1$, столько же - но эти нам уже не нужны - с распределением $F_2$ и т.д. Назвать их иксами у меня рука не поднимается, поскольку хоть их значения и такие же, как у иксов в паре $(X, Y)$, но распределения совпадают с условными распределениями иксов, а не с безусловными: $F_1(j)=\mathsf P(Z_i = j)=\mathsf P(X_i = j | Y_i=1)$. И снова обычный (У)ЗБЧ гарантирует сходимость п.н. $\frac1m\sum_1^mI(Z_i=j)$ к $F_1(j)$. Не то?

[Vandaler]

Идея точно эта. Мне не ясно следующее: УЗБЧ утверждает сходимость $\mathsf{P}$-п.н. для последовательности н.о.р.с.в.
На первый взгляд, ничего не мешает взять нам вместо $\mathsf{P}(\cdot)$ условную вероятность $\mathsf{P}_{Y=1}(\cdot) = \frac{\mathsf{P}(\cdot|Y = 1)}{\mathsf{P}(Y=1)}$.
Однако, что не понимаю: нам же тогда нужно показывать независимость $X_i$ в группе, соответствующей $Y_i = 1$, т.е. условную независимость при условии $A = \{\omega: Y_1 = 1, \dots, Y_n = 1\}$. Значит ЗБЧ уже надо применять к мере $\frac{\mathsf{P}(\cdot|A)}{\mathsf{P}(A)}$. А это уже для разных $n$ разные меры. Обычные законы больших чисел для фиксированной меры, правда ведь?

[--mS--]

Я Вас поняла так, что никаких $X_i$ как первых компонент независимых пар $(X_i, Y_i)$ нет, а есть набор независимых с.в. из условного распределения $\mathsf P_{Y=1}(\cdot)=\dfrac{\mathsf P(X\in \cdot, Y=1)}{\mathsf P(Y=1)}$. Оказывается, снова нет.

Предлагаю Вам чётко сформулировать, что же всё-таки дано. Максимально формально.

[Vandaler]

Давайте попробую так написать:
Пусть $\xi^N = \{(X^i,Y^i)\}_{i=1}^{N}$ - последовательность независимых одинаково распределённых случайных векторов, заданных на вероятностном пространстве $(\Omega,\mathcal{F},\mathbf{P})$, имеющих тот же самый закон распределения, что и $(X,Y)$, где $X: \Omega \to \{-s,-s+1,\dots,s\}$, $Y: \Omega \to \{-1,1\}$.
Пусть $\xi_N^j = \{(X^i,Y^i) \in \xi_N: Y^i = j\}.$
Пусть $R: \Omega \to \mathbb{N}$ --- случайная величина, равная числу единиц в выборке $\xi_N$.

Далее такой момент, в котором я плыву: нужно зафиксировать условие $R = k$ для некоторого $k$ (пусть $k = [N/2]$). Тогда $\xi^N при условии $R = k$ становится выборкой, в которой одинаковое количество наблюдений в обоих группах. Далее, в частности, нужно оценить вероятности $\mathsf{P}(X = k|Y = 1)$.

[--mS--]

Условными бывают вероятности, а не случайные величины. Зафиксировать нечто можно под знаком какой-то вероятности, и получить, например, какое-то распределение. Из которого можно потом брать случайные величины. Операция "зафиксируем одну с.в. и получим из второй третью" не определена. Так что давайте именно в этом месте разбирайтесь, что нужно и что имеется.

[Vandaler]

Всем спасибо за помощь, разобрался с тем, что мне было не ясно!