Измерение информации, получаемой в результате эксперимента

[M.Hatter]

Дана случайная величина $X$, которая с неизвестной вероятностью $p$ принимает значение 1, а с вероятностью $1-p$ значение 0. Мы можем провести серию экспериментов, которая дает нам некоторую оценку вероятности $p$. А именно, если мы провели $n$ экспериментов, в $n_1$ экспериментах получили значение 1, а в $n_2 = n - n_1$ - значение 0, то $p$ оказывается распределенной по закону $Beta(n_1+1, n_2+1)$.
Задача состоит в том, чтобы количественно выразить прирост информации о значении $p$ в результате очередного, $n+1$-го, эксперимента. Любым образом.

Я сейчас делаю следующее. Я выражаю информацию как уменьшение энтропии: $I = H(n_1,n_2) - H(n_1, n_2 | \xi)$. Загвоздка в определении апостериорной энтропии $H(n_1, n_2 | \xi)$. В идеале, это должно быть: $pH(n_1 + 1, n_2) + (1-p)H(n_1, n_2 + 1)$, но $p$ - и есть неизвестный оцениваемый параметр. Велик соблазн использовать в этой формуле текущую оценку $\tilde{p} = n_1/(n_1 + n_2)$, но у меня есть большие сомнения в правомерности такого хода.

[M.Hatter]

Я подумал еще вот о чем. $p$, в данном случае, случайная величина. Соответственно, $I$ - тоже случайная величина. Следовательно, если нам нужна какая-то скалярная оценка, то мы не можем использовать $I$ напрямую, а должны использовать, например, её математическое ожидание $M[I]$.
Получается:

$$M[I] = M[H_{Beta}(n_1+1,n_2+1) - H_{Beta}(n_1+1,n_2+1|\xi)] = H_{Beta}(n_1+1,n_2+1) - M[H_{Beta}(n_1+1,n_2+1|\xi)].$$

Для $M[H_{Beta}(n_1+1,n_2+1|\xi)]$ по определению получаем выражение:

$$ \int_0^1 f_{Beta(n_1+1,n_2+1)}(p) \left(pH_{Beta}(n_1+2,n_2+1) + (1-p)H_{Beta}(n_1+1, n_2 +2) \right)dp = $$

$$ = H_{Beta}(n_1+2,n_2+1)M[Beta(n_1+1,n_2+1)] + H_{Beta}(n_1+1,n_2 + 2) - $$

$$ - H_{Beta}(n_1+1,n_2+2)M[Beta(n_1+1,n_2+1)] = $$

$$ = \left(\frac{n_1+1}{n_1+n_2+2}\right)H_{Beta}(n_1+2,n_2+1) + \left(1 - \frac{n_1+1}{n_1+n_2+2}\right)H_{Beta}(n_1+1,n_2 + 2) $$

То есть, то же самое, что было в исходном посте (за исключением того, что там я ошибся на единицу в каждом из количеств из-за разницы между количествами положительных и отрицательных экспериментов и параметрами Beta-распределения).