Статистический эксперимент в компьютерной игре

[B@R5uk]

Что-то мне вдруг приспичило воспользоваться моей выдумкой. Вспомогательная формула:

$$\[\int\limits_{0}^{1}{{{t}^{k}}{{\left( 1-t \right)}^{l}}dt}=\operatorname{B} \left( k+1,l+1 \right)=\frac{1}{\left( k+l+1 \right)C_{l}^{k+l}}\]$$

Произведено $n_1+n_2$ бросков монеты с искомой вероятностью исхода "1", равной $\beta$, из них $n_1$ окончились исходом "1" и $n_2$ — исходом "2". Требуется оценить среднее значение величины $\beta$ и её дисперсию. Распределение величины $\beta$:

$$\[p\left( \beta \right)=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}{{\beta }^{{{n}_{1}}}}{{\left( 1-\beta \right)}^{{{n}_{2}}}}\]$$

Матожидание:

$$\[M\left[ \beta \right]=\int\limits_{0}^{1}{\beta p\left( \beta \right)d\beta }=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}\int\limits_{0}^{1}{{{\beta }^{{{n}_{1}}+1}}{{\left( 1-\beta \right)}^{{{n}_{2}}}}d\beta }\]$$

$$\[M\left[ \beta \right]=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}}{\left( {{n}_{1}}+{{n}_{2}}+2 \right)C_{{{n}_{1}}+1}^{{{n}_{1}}+{{n}_{2}}+1}}=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)\left( {{n}_{1}}+{{n}_{2}} \right)!\left( {{n}_{1}}+1 \right)!{{n}_{2}}!}{\left( {{n}_{1}}+{{n}_{2}}+2 \right)\left( {{n}_{1}}+{{n}_{2}}+1 \right)!{{n}_{1}}!{{n}_{2}}!}=\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2}\]$$

Матожидание квадрата:

$$\[M\left[ {{\beta }^{2}} \right]=\int\limits_{0}^{1}{{{\beta }^{2}}p\left( \beta \right)d\beta }=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}\int\limits_{0}^{1}{{{\beta }^{{{n}_{1}}+2}}{{\left( 1-\beta \right)}^{{{n}_{2}}}}d\beta }\]$$

$$\[M\left[ {{\beta }^{2}} \right]=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)C_{{{n}_{1}}+2}^{{{n}_{1}}+{{n}_{2}}+2}}=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)\left( {{n}_{1}}+{{n}_{2}} \right)!\left( {{n}_{1}}+2 \right)!}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)!{{n}_{1}}!}=\frac{\left( {{n}_{1}}+2 \right)\left( {{n}_{1}}+1 \right)}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)}\]$$

Дисперсия:

$$\[D\left[ \beta \right]=M\left[ {{\beta }^{2}} \right]-{{\left( M\left[ \beta \right] \right)}^{2}}=\frac{\left( {{n}_{1}}+2 \right)\left( {{n}_{1}}+1 \right)}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)}-{{\left( \frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2} \right)}^{2}}\]$$

$$\[D\left[ \beta \right]=\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2}\left( \frac{{{n}_{1}}+2}{{{n}_{1}}+{{n}_{2}}+3}-\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2} \right)=\frac{{{\left( {{n}_{2}}+1 \right)}^{2}}}{\left( {{n}_{1}}+{{n}_{2}}+3 \right){{\left( {{n}_{1}}+{{n}_{2}}+2 \right)}^{2}}}\]$$

-- 08.02.2018, 16:33 --

Для $n_1=214\,000$ и $n_2=786\,000$ получается: $M\left[\beta\right]=0,21400$, $\sqrt{D\left[\beta\right]}=0,00021$.

[--mS--]

B@R5uk в сообщении #1291163 писал(а):

Распределение величины $\beta$:

$$\[p\left( \beta \right)=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}{{\beta }^{{{n}_{1}}}}{{\left( 1-\beta \right)}^{{{n}_{2}}}}\]$$

Почему распределение величины $\beta$ зависит от $n_1$ и $n_2$? Если это априорное распределение, то оно никак не может зависеть от выборки. Если это апостериорное распределение, то без задания априорного нет и не может быть никакого апостериорного.

[B@R5uk]

--mS-- в сообщении #1291189 писал(а):

Почему распределение величины $\beta$ зависит от $n_1$ и $n_2$?

Об значении величины $\beta$ до начала эксперимента не было известно ровным счётом ничего. Я же на предыдущей станице писал, как я это распределение придумал.

-- 08.02.2018, 17:59 --

--mS-- в сообщении #1291189 писал(а):

без задания априорного нет и не может быть никакого апостериорного

Как-то слишком категорично. Что, если надо?

[--mS--]

B@R5uk в сообщении #1291212 писал(а):

--mS--, я же раньше писал, откуда я его придумал.

Так и я писала выше об априорном распределении. А Вы опять повторяете то же самое.

Вы предполагаете априорное распределение равномерным? Тогда так и следует писать: распределение величины $\beta$ предполагается равномерным на отрезке $[0,\,1]$. А уже условное (или апостериорное) распределение $\beta$ при данной выборке имеет плотность $p(\beta|\vec X)=(n+1)C_n^{n_1}\beta^{n_1}(1-\beta)^{n_2}$, где $n_1$ - число единиц в выборке $\vec X$.

Это плотность бета-распределения с параметрами $n_1+1$ и $n-n_1+1$. Моменты, дисперсии и прочие характеристики этого распределения известны. Свойства байесовской оценки $\beta^*=\mathsf E(\beta|\vec X)=\frac{n_1+1}{n+2}$ известны из свойств условного математического ожидания: полное среднеквадратичное отклонение этой оценки $\mathsf E(\mathsf E(\beta|\vec X)-\beta)^2$ (полное - потому что наружное матожидание берется по распределению $\beta$) меньше, чем у любой другой измеримой функции от выборки.

Возьмёте другое априорное распределение - например, бета распределение с параметрами $3$ и $7$ - получите иное апостериорное распределение $\beta$ и иную байесовскую оценку, но с теми же свойствами оптимальности в среднеквадратичном при этом новом апостериорном распределении. А если дядя, который сделал монетку, нам сообщит, что сделал две монетки с вероятностями $1/3$ и $1/2$, а потом одну из них выбрал наугад, а вторую выбросил, то априорное распределение $\beta$ резко станет двухточечным. И никакого апостериорного бета-распределения не будет. А так и останется при данной выборке с $n_1$ единицами двухточечное распределение.

[B@R5uk]

--mS-- в сообщении #1291221 писал(а):

Тогда так и следует писать: распределение величины $\beta$ предполагается равномерным на отрезке $[0,\,1]$.

Проблема в том, что для меня от этих слов не тепло, не холодно. Если посоветуете что-нибудь без заумной математики почитать (с объяснением на примерах), то я может быть и освою этот байесовский подход. Но пока как вы связываете апостериорное с априорным я не понимаю. Формулу я вывел из совсем других соображений. Она могла совершенно не совпасть с тем, что вы предлагаете. Ну, совпала, тогда — это хорошо?

[--mS--]

В Вашем выводе присутствуют такое слова:

B@R5uk в сообщении #1287565 писал(а):

До этого соображения легко додуматься, если предположить, что распределение для величины $x$ должно быть пропорционально вероятности получить полученный результат с этой величиной $x$.

Я сейчас попробую убедить Вас, что эти слова верны тогда и только тогда, когда до опыта предполагается, что неизвестная вероятность $\beta$ (она же тут - $x$) равномерно распределена на $[0,1]$.

Рассмотрим пример с монеткой, выбранной перед опытом наугад из двух вариантов - монета с вероятностью единицы $\frac13$ и монета симметричная. В этом случае заранее известно, что

$$\mathsf P\left(\beta=\frac12\right)=\mathsf P\left(\beta=\frac13\right)=\frac12,$$

и никаких иных значений $\beta$ принимать не может. Какое бы количество единиц ($n_1$) и двоек ($n_2$) мы ни получили,

$$\mathsf P(\beta\in[y;y+dy]~|~n_1,n_2) = 0 \quad \forall y\neq \frac13, \frac12.$$

Но зато по формуле условной вероятности

$$ \mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\mathsf P\left(\beta=\frac13\right)\cdot \mathsf P\left(n_1,n_2|\beta=\frac13\right)}{\mathsf P(n_1,n_2)} $$

Здесь

$$\mathsf P\left(n_1,n_2|\beta=\frac13\right) = C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}$$

- вероятность получить данную выборку при $\beta=\frac13$, а

$$\mathsf P(n_1,n_2) = \frac12 C_n^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{1}{2} C_{n}^{n_1} \left(\frac12\right)^{n_1}\left(\frac12\right)^{n_2}$$

- вероятность получить данную выборку при неизвестно каком $\beta$, которое с равными шансами любое из двух значений.
Окончательно,

$$ \mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\frac12 C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{\frac{1}{2} C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{1}{2} C_{n}^{n_1} \left(\frac12\right)^n}=\dfrac{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+C_{n}^{n_1} \left(\frac12\right)^n} $$

Аналогично,

$$ \mathsf P\left(\beta=\frac12~|~n_1,n_2\right) = \dfrac{C_{n}^{n_1} \left(\frac12\right)^n}{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+C_{n}^{n_1} \left(\frac12\right)^n} $$

В каком-то смысле полученные два ответа тоже удовлетворяют процитированной выше фразе: вероятность иметь данное значение $\beta$ после опыта пропорциональна вероятности получить при данном $\beta$ этот результат опыта. Но ответ получился совсем иным! А почему? А потому, что мы знали, что $\beta$ никаких иных значений, кроме этих двух, принимать не может! Видите, что делает априорное распределение? Правда, пока оно хоть и дискретное, но всё же равномерное.

А теперь перекосим априорное распределение $\beta$: пусть вероятности значений $\frac13$ и $\frac12$ будут $\frac14$ и $\frac34$. Например, дядя изготовил три симметричных монеты и одну косую, а потом дал нам одну из этих четырёх монет наугад. Тогда ответ переменится:

$$ \mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\frac14 C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{\frac{1}{4} C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{3}{4} C_{n}^{n_1} \left(\frac12\right)^n} $$

и

$$ \mathsf P\left(\beta=\frac12~|~n_1,n_2\right) = \dfrac{\frac34 C_{n}^{n_1} \left(\frac12\right)^n}{\frac14C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac34 C_{n}^{n_1} \left(\frac12\right)^n} $$

Теперь вероятность получить данное значение $\beta$ уже не пропорциональна вероятности иметь $n_1$ единиц при этом $\beta$.

Если до опыта распределение $\beta$ имеет плотность $p_\beta(x)$, то условная плотность $\beta$ при выборке с $n_1$ единицами и $n_2=n-n_1$ двойками будет

$$p(x|n_1,n_2) = \dfrac{p_\beta(x) C_n^{n_1}x^{n_1}(1-x)^{n-n_1}}{\int\limits_0^1p_\beta(x) C_n^{n_1}x^{n_1}(1-x)^{n-n_1}\,dx}. $$

Математическое ожидание этого распределения называется байесовской оценкой для $\beta$. При разных $p_\beta(x)$ и условная плотность, и байесовская оценка будут разными.

Посоветовать почитать что-то не смогу.

[B@R5uk]

--mS-- в сообщении #1291242 писал(а):

Я сейчас попробую убедить Вас, что эти слова верны тогда и только тогда, когда до опыта предполагается, что неизвестная вероятность $\beta$ (она же тут - $x$) равномерно распределена на $[0,1]$.

--mS-- в сообщении #1291242 писал(а):

В каком-то смысле полученные два ответа тоже удовлетворяют процитированной выше фразе: вероятность иметь данное значение $\beta$ после опыта пропорциональна вероятности получить при данном $\beta$ этот результат опыта. Но ответ получился совсем иным!

Я не спорил с тем, что априорная информация может коренным образом изменить результат. Но ваши подробные рассуждения, донесли до меня общий ход мысли в этом подходе, какие цифры откуда берутся, и я, вроде, даже смогу это повторить. Спасибо.

В защиту своего подхода (без зависимости от априорной информации) скажу, что предложенный мной раньше результат ещё можно получить постулировав, что функцией распределения искомого параметра распределения при заданных результатах эксперимента является отнормированная функция правдоподобия для этих результатов. Не знаю, правда, будет ли подход через функцию правдоподобия работать в случае наличия априорной информации. Если не ошибаюсь, то это подход Фишера.

[--mS--]

Плотностью, а не функцией распределения.

Короче, моя попытка убедить Вас, что отсутствием априорной информации тут и не пахнет, а просто неявно предполагается равномерное априорное распределение, провалилась

[Евгений Машеров]

(Оффтоп)

Месье Журден так и не поверил, что говорит прозой...