Дана случайная величина

, которая с неизвестной вероятностью

принимает значение 1, а с вероятностью

значение 0. Мы можем провести серию экспериментов, которая дает нам некоторую оценку вероятности

. А именно, если мы провели

экспериментов, в

экспериментах получили значение 1, а в

- значение 0, то

оказывается распределенной по закону

.
Задача состоит в том, чтобы количественно выразить прирост информации о значении

в результате очередного,

-го, эксперимента. Любым образом.
Я сейчас делаю следующее. Я выражаю информацию как уменьшение энтропии:

. Загвоздка в определении апостериорной энтропии

. В идеале, это должно быть:

, но

- и есть неизвестный оцениваемый параметр. Велик соблазн использовать в этой формуле текущую оценку

, но у меня есть большие сомнения в правомерности такого хода.