2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 16:26 
Аватара пользователя


26/05/12
1534
приходит весна?
Что-то мне вдруг приспичило воспользоваться моей выдумкой. Вспомогательная формула:$$\[\int\limits_{0}^{1}{{{t}^{k}}{{\left( 1-t \right)}^{l}}dt}=\operatorname{B} \left( k+1,l+1 \right)=\frac{1}{\left( k+l+1 \right)C_{l}^{k+l}}\]$$Произведено $n_1+n_2$ бросков монеты с искомой вероятностью исхода "1", равной $\beta$, из них $n_1$ окончились исходом "1" и $n_2$ — исходом "2". Требуется оценить среднее значение величины $\beta$ и её дисперсию. Распределение величины $\beta$:$$\[p\left( \beta  \right)=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}{{\beta }^{{{n}_{1}}}}{{\left( 1-\beta  \right)}^{{{n}_{2}}}}\]$$Матожидание:$$\[M\left[ \beta  \right]=\int\limits_{0}^{1}{\beta p\left( \beta  \right)d\beta }=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}\int\limits_{0}^{1}{{{\beta }^{{{n}_{1}}+1}}{{\left( 1-\beta  \right)}^{{{n}_{2}}}}d\beta }\]$$$$\[M\left[ \beta  \right]=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}}{\left( {{n}_{1}}+{{n}_{2}}+2 \right)C_{{{n}_{1}}+1}^{{{n}_{1}}+{{n}_{2}}+1}}=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)\left( {{n}_{1}}+{{n}_{2}} \right)!\left( {{n}_{1}}+1 \right)!{{n}_{2}}!}{\left( {{n}_{1}}+{{n}_{2}}+2 \right)\left( {{n}_{1}}+{{n}_{2}}+1 \right)!{{n}_{1}}!{{n}_{2}}!}=\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2}\]$$Матожидание квадрата:$$\[M\left[ {{\beta }^{2}} \right]=\int\limits_{0}^{1}{{{\beta }^{2}}p\left( \beta  \right)d\beta }=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}\int\limits_{0}^{1}{{{\beta }^{{{n}_{1}}+2}}{{\left( 1-\beta  \right)}^{{{n}_{2}}}}d\beta }\]$$$$\[M\left[ {{\beta }^{2}} \right]=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)C_{{{n}_{1}}+2}^{{{n}_{1}}+{{n}_{2}}+2}}=\frac{\left( {{n}_{1}}+{{n}_{2}}+1 \right)\left( {{n}_{1}}+{{n}_{2}} \right)!\left( {{n}_{1}}+2 \right)!}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)!{{n}_{1}}!}=\frac{\left( {{n}_{1}}+2 \right)\left( {{n}_{1}}+1 \right)}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)}\]$$Дисперсия:$$\[D\left[ \beta  \right]=M\left[ {{\beta }^{2}} \right]-{{\left( M\left[ \beta  \right] \right)}^{2}}=\frac{\left( {{n}_{1}}+2 \right)\left( {{n}_{1}}+1 \right)}{\left( {{n}_{1}}+{{n}_{2}}+3 \right)\left( {{n}_{1}}+{{n}_{2}}+2 \right)}-{{\left( \frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2} \right)}^{2}}\]$$$$\[D\left[ \beta  \right]=\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2}\left( \frac{{{n}_{1}}+2}{{{n}_{1}}+{{n}_{2}}+3}-\frac{{{n}_{1}}+1}{{{n}_{1}}+{{n}_{2}}+2} \right)=\frac{{{\left( {{n}_{2}}+1 \right)}^{2}}}{\left( {{n}_{1}}+{{n}_{2}}+3 \right){{\left( {{n}_{1}}+{{n}_{2}}+2 \right)}^{2}}}\]$$

-- 08.02.2018, 16:33 --

Для $n_1=214\,000$ и $n_2=786\,000$ получается: $M\left[\beta\right]=0,21400$, $\sqrt{D\left[\beta\right]}=0,00021$.

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 17:16 
Заслуженный участник
Аватара пользователя


23/11/06
4171
B@R5uk в сообщении #1291163 писал(а):
Распределение величины $\beta$:$$\[p\left( \beta  \right)=\left( {{n}_{1}}+{{n}_{2}}+1 \right)C_{{{n}_{1}}}^{{{n}_{1}}+{{n}_{2}}}{{\beta }^{{{n}_{1}}}}{{\left( 1-\beta  \right)}^{{{n}_{2}}}}\]$$

Почему распределение величины $\beta$ зависит от $n_1$ и $n_2$? Если это априорное распределение, то оно никак не может зависеть от выборки. Если это апостериорное распределение, то без задания априорного нет и не может быть никакого апостериорного.

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 17:57 
Аватара пользователя


26/05/12
1534
приходит весна?
--mS-- в сообщении #1291189 писал(а):
Почему распределение величины $\beta$ зависит от $n_1$ и $n_2$?
Об значении величины $\beta$ до начала эксперимента не было известно ровным счётом ничего. Я же на предыдущей станице писал, как я это распределение придумал.

-- 08.02.2018, 17:59 --

--mS-- в сообщении #1291189 писал(а):
без задания априорного нет и не может быть никакого апостериорного
Как-то слишком категорично. Что, если надо?

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 18:41 
Заслуженный участник
Аватара пользователя


23/11/06
4171
B@R5uk в сообщении #1291212 писал(а):
--mS--, я же раньше писал, откуда я его придумал.

Так и я писала выше об априорном распределении. А Вы опять повторяете то же самое.

Вы предполагаете априорное распределение равномерным? Тогда так и следует писать: распределение величины $\beta$ предполагается равномерным на отрезке $[0,\,1]$. А уже условное (или апостериорное) распределение $\beta$ при данной выборке имеет плотность $p(\beta|\vec X)=(n+1)C_n^{n_1}\beta^{n_1}(1-\beta)^{n_2}$, где $n_1$ - число единиц в выборке $\vec X$.

Это плотность бета-распределения с параметрами $n_1+1$ и $n-n_1+1$. Моменты, дисперсии и прочие характеристики этого распределения известны. Свойства байесовской оценки $\beta^*=\mathsf E(\beta|\vec X)=\frac{n_1+1}{n+2}$ известны из свойств условного математического ожидания: полное среднеквадратичное отклонение этой оценки $\mathsf E(\mathsf E(\beta|\vec X)-\beta)^2$ (полное - потому что наружное матожидание берется по распределению $\beta$) меньше, чем у любой другой измеримой функции от выборки.

Возьмёте другое априорное распределение - например, бета распределение с параметрами $3$ и $7$ - получите иное апостериорное распределение $\beta$ и иную байесовскую оценку, но с теми же свойствами оптимальности в среднеквадратичном при этом новом апостериорном распределении. А если дядя, который сделал монетку, нам сообщит, что сделал две монетки с вероятностями $1/3$ и $1/2$, а потом одну из них выбрал наугад, а вторую выбросил, то априорное распределение $\beta$ резко станет двухточечным. И никакого апостериорного бета-распределения не будет. А так и останется при данной выборке с $n_1$ единицами двухточечное распределение.

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 19:11 
Аватара пользователя


26/05/12
1534
приходит весна?
--mS-- в сообщении #1291221 писал(а):
Тогда так и следует писать: распределение величины $\beta$ предполагается равномерным на отрезке $[0,\,1]$.
Проблема в том, что для меня от этих слов не тепло, не холодно. Если посоветуете что-нибудь без заумной математики почитать (с объяснением на примерах), то я может быть и освою этот байесовский подход. Но пока как вы связываете апостериорное с априорным я не понимаю. Формулу я вывел из совсем других соображений. Она могла совершенно не совпасть с тем, что вы предлагаете. Ну, совпала, тогда — это хорошо?

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 20:04 
Заслуженный участник
Аватара пользователя


23/11/06
4171
В Вашем выводе присутствуют такое слова:
B@R5uk в сообщении #1287565 писал(а):
До этого соображения легко додуматься, если предположить, что распределение для величины $x$ должно быть пропорционально вероятности получить полученный результат с этой величиной $x$.

Я сейчас попробую убедить Вас, что эти слова верны тогда и только тогда, когда до опыта предполагается, что неизвестная вероятность $\beta$ (она же тут - $x$) равномерно распределена на $[0,1]$.

Рассмотрим пример с монеткой, выбранной перед опытом наугад из двух вариантов - монета с вероятностью единицы $\frac13$ и монета симметричная. В этом случае заранее известно, что $$\mathsf P\left(\beta=\frac12\right)=\mathsf P\left(\beta=\frac13\right)=\frac12,$$
и никаких иных значений $\beta$ принимать не может. Какое бы количество единиц ($n_1$) и двоек ($n_2$) мы ни получили, $$\mathsf P(\beta\in[y;y+dy]~|~n_1,n_2) = 0 \quad \forall y\neq \frac13, \frac12.$$

Но зато по формуле условной вероятности
$$
\mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\mathsf P\left(\beta=\frac13\right)\cdot \mathsf P\left(n_1,n_2|\beta=\frac13\right)}{\mathsf P(n_1,n_2)}
$$
Здесь
$$\mathsf P\left(n_1,n_2|\beta=\frac13\right) = C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}$$
- вероятность получить данную выборку при $\beta=\frac13$, а
$$\mathsf P(n_1,n_2) = \frac12 C_n^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{1}{2} C_{n}^{n_1} \left(\frac12\right)^{n_1}\left(\frac12\right)^{n_2}$$
- вероятность получить данную выборку при неизвестно каком $\beta$, которое с равными шансами любое из двух значений.
Окончательно,
$$
\mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\frac12 C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{\frac{1}{2} C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{1}{2} C_{n}^{n_1} \left(\frac12\right)^n}=\dfrac{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+C_{n}^{n_1} \left(\frac12\right)^n}
$$
Аналогично,
$$
\mathsf P\left(\beta=\frac12~|~n_1,n_2\right) = \dfrac{C_{n}^{n_1} \left(\frac12\right)^n}{C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+C_{n}^{n_1} \left(\frac12\right)^n}
$$

В каком-то смысле полученные два ответа тоже удовлетворяют процитированной выше фразе: вероятность иметь данное значение $\beta$ после опыта пропорциональна вероятности получить при данном $\beta$ этот результат опыта. Но ответ получился совсем иным! А почему? А потому, что мы знали, что $\beta$ никаких иных значений, кроме этих двух, принимать не может! Видите, что делает априорное распределение? Правда, пока оно хоть и дискретное, но всё же равномерное.

А теперь перекосим априорное распределение $\beta$: пусть вероятности значений $\frac13$ и $\frac12$ будут $\frac14$ и $\frac34$. Например, дядя изготовил три симметричных монеты и одну косую, а потом дал нам одну из этих четырёх монет наугад. Тогда ответ переменится:
$$
\mathsf P\left(\beta=\frac13~|~n_1,n_2\right) = \dfrac{\frac14 C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}}{\frac{1}{4} C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac{3}{4} C_{n}^{n_1} \left(\frac12\right)^n}
$$
и
$$
\mathsf P\left(\beta=\frac12~|~n_1,n_2\right) = \dfrac{\frac34 C_{n}^{n_1} \left(\frac12\right)^n}{\frac14C_{n}^{n_1} \left(\frac13\right)^{n_1}\left(\frac23\right)^{n_2}+\frac34 C_{n}^{n_1} \left(\frac12\right)^n}
$$
Теперь вероятность получить данное значение $\beta$ уже не пропорциональна вероятности иметь $n_1$ единиц при этом $\beta$.

Если до опыта распределение $\beta$ имеет плотность $p_\beta(x)$, то условная плотность $\beta$ при выборке с $n_1$ единицами и $n_2=n-n_1$ двойками будет
$$p(x|n_1,n_2) = \dfrac{p_\beta(x) C_n^{n_1}x^{n_1}(1-x)^{n-n_1}}{\int\limits_0^1p_\beta(x) C_n^{n_1}x^{n_1}(1-x)^{n-n_1}\,dx}.
$$
Математическое ожидание этого распределения называется байесовской оценкой для $\beta$. При разных $p_\beta(x)$ и условная плотность, и байесовская оценка будут разными.

Посоветовать почитать что-то не смогу.

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение08.02.2018, 20:47 
Аватара пользователя


26/05/12
1534
приходит весна?
--mS-- в сообщении #1291242 писал(а):
Я сейчас попробую убедить Вас, что эти слова верны тогда и только тогда, когда до опыта предполагается, что неизвестная вероятность $\beta$ (она же тут - $x$) равномерно распределена на $[0,1]$.
--mS-- в сообщении #1291242 писал(а):
В каком-то смысле полученные два ответа тоже удовлетворяют процитированной выше фразе: вероятность иметь данное значение $\beta$ после опыта пропорциональна вероятности получить при данном $\beta$ этот результат опыта. Но ответ получился совсем иным!
Я не спорил с тем, что априорная информация может коренным образом изменить результат. Но ваши подробные рассуждения, донесли до меня общий ход мысли в этом подходе, какие цифры откуда берутся, и я, вроде, даже смогу это повторить. Спасибо.

В защиту своего подхода (без зависимости от априорной информации) скажу, что предложенный мной раньше результат ещё можно получить постулировав, что функцией распределения искомого параметра распределения при заданных результатах эксперимента является отнормированная функция правдоподобия для этих результатов. Не знаю, правда, будет ли подход через функцию правдоподобия работать в случае наличия априорной информации. Если не ошибаюсь, то это подход Фишера.

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение09.02.2018, 05:22 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Плотностью, а не функцией распределения.

Короче, моя попытка убедить Вас, что отсутствием априорной информации тут и не пахнет, а просто неявно предполагается равномерное априорное распределение, провалилась :facepalm:

 Профиль  
                  
 
 Re: Статистический эксперимент в компьютерной игре
Сообщение09.02.2018, 06:10 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва

(Оффтоп)

Месье Журден так и не поверил, что говорит прозой...

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 24 ]  На страницу Пред.  1, 2

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group