2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Измерение информации, получаемой в результате эксперимента
Сообщение28.01.2014, 20:35 


28/01/14
2
Дана случайная величина $X$, которая с неизвестной вероятностью $p$ принимает значение 1, а с вероятностью $1-p$ значение 0. Мы можем провести серию экспериментов, которая дает нам некоторую оценку вероятности $p$. А именно, если мы провели $n$ экспериментов, в $n_1$ экспериментах получили значение 1, а в $n_2 = n - n_1$ - значение 0, то $p$ оказывается распределенной по закону $Beta(n_1+1, n_2+1)$.
Задача состоит в том, чтобы количественно выразить прирост информации о значении $p$ в результате очередного, $n+1$-го, эксперимента. Любым образом.

Я сейчас делаю следующее. Я выражаю информацию как уменьшение энтропии: $I = H(n_1,n_2) - H(n_1, n_2 | \xi)$. Загвоздка в определении апостериорной энтропии $H(n_1, n_2 | \xi)$. В идеале, это должно быть: $pH(n_1 + 1, n_2) + (1-p)H(n_1, n_2 + 1)$, но $p$ - и есть неизвестный оцениваемый параметр. Велик соблазн использовать в этой формуле текущую оценку $\tilde{p} = n_1/(n_1 + n_2)$, но у меня есть большие сомнения в правомерности такого хода.

 Профиль  
                  
 
 Re: Измерение информации, получаемой в результате эксперимента
Сообщение29.01.2014, 10:40 


28/01/14
2
Я подумал еще вот о чем. $p$, в данном случае, случайная величина. Соответственно, $I$ - тоже случайная величина. Следовательно, если нам нужна какая-то скалярная оценка, то мы не можем использовать $I$ напрямую, а должны использовать, например, её математическое ожидание $M[I]$.
Получается:
$$M[I] = M[H_{Beta}(n_1+1,n_2+1) - H_{Beta}(n_1+1,n_2+1|\xi)] = H_{Beta}(n_1+1,n_2+1) - M[H_{Beta}(n_1+1,n_2+1|\xi)].$$
Для $M[H_{Beta}(n_1+1,n_2+1|\xi)]$ по определению получаем выражение:
$$
   \int_0^1  f_{Beta(n_1+1,n_2+1)}(p) 
                  \left(pH_{Beta}(n_1+2,n_2+1) + 
                        (1-p)H_{Beta}(n_1+1, n_2 +2)
                  \right)dp =
$$
$$
   =  H_{Beta}(n_1+2,n_2+1)M[Beta(n_1+1,n_2+1)] + 
   H_{Beta}(n_1+1,n_2 + 2) - 
$$
$$
- H_{Beta}(n_1+1,n_2+2)M[Beta(n_1+1,n_2+1)] =
$$
$$
= \left(\frac{n_1+1}{n_1+n_2+2}\right)H_{Beta}(n_1+2,n_2+1) + 
   \left(1 - \frac{n_1+1}{n_1+n_2+2}\right)H_{Beta}(n_1+1,n_2 + 2)
$$

То есть, то же самое, что было в исходном посте (за исключением того, что там я ошибся на единицу в каждом из количеств из-за разницы между количествами положительных и отрицательных экспериментов и параметрами Beta-распределения).

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group