Кол-во информации при изменении вероятности

[Dims]

Теория информации говорит, что количество информации есть мера изменения информационной энтропии.

Информационная энтропия есть минус математическое ожидание от логарифма (двоичного) вероятности, то есть

$H = - \sum_i p_i log p_i$

Когда мы имеем систему в этом состоянии, а потом она переходит в определённое состояние, у которого энтропия равна 0, то мы, стало быть, получаем о системе количество информации, описываемое той же формулой.

Определённое состояние системы можно трактовать как состояние, в котором все вероятности равны 0 кроме одно, которая равна 1 и соответствует реализовавшемуся исходу.

Вопрос.

Допустим, у нас есть система из одного события, которое может реализоваться или не реализоваться. Допустим, первоначально вероятность реализации события равна $p_0$. Теперь, в результате исследования, нам стало известно, что вероятность не равна $p_0$, а равна некоему неизвестному числу, превышающему $p_1$. То есть, мы узнали, что событие реализуется не реже, чем с некоторой вероятностью.

Можно ли такое изменение в описании системы тоже трактовать как получение информации о ней и каков будет объём полученной информации?

[PAV]

Не думаю. Так как вероятность после исследования неизвестна, а даны только ее границы, то и энтропия системы неизвестна со всеми вытекающими последствиями.

Обращаю внимание на то, что даже если бы после исследования мы бы узнали точную вероятность события, то ничего не мешает ей оказаться расположенной ближе к 0.5, чем исходная. Тогда получится, что в результате исследования энтропия увеличилась. Если трактовать это как уменьшение информации, то получается весьма неправдоподобный вывод. Так что на самом деле это не совсем так, как Вы понимаете.

[G^a]

Добречко!

Если позволите, то добавлю, исходя из опыта.

Когда начинаешь строить информационно-энтропийные оценки сложных систем, ситуаций, процессов, то есть, когда идеи и гипотезы выходят за рамки учебных задач, легко сделать ошибку, если оперировать абсолютными значениями энтропий и информации, или их разностями и суммами. На это ещё А.Н. Колмогоров и Р.Л. Стратонович указывали. Поэтому советую Вам, Dims, оперировать условными энтропией и информацией. В этом случае мухи от слонов отделяются, ибо начинают, в частности, разделяться априорная и апостериорная ситуации.

То, что приводите Вы, как раз и есть:
$p_0$ - априорное знание о системе, а $p_1$ - апостериорное.

Тогда получаем (У Вас одно событие с двумя исходами):

$H_0=-[p_{0}log\,p_{0}+(1-p_{0})log\,(1-p_{0})]$,

$H_1=-[p_{*}log\,p_{*}+(1-p_{*})log\,(1-p_{*})]$,

$I=H_{1}-H_{0}$.

Причём по Вашему условию: $p_{*}>p_{1}$, и $p_{*}$ - не фиксировано, тогда вопрос: а чему равна информация?

А теперь попробуйте самостоятельно всё это переписать для условных энтропии и информации.

[Dims]

G^a писал(а):

А теперь попробуйте самостоятельно всё это переписать для условных энтропии и информации.

Что-то не представляю, как...

Добавлено спустя 4 минуты 58 секунд:

PAV писал(а):

даны только ее границы, то и энтропия системы неизвестна со всеми вытекающими последствиями.

Да.

Попробуем обобщить задачу: чему равна энтропия системы, если известна лишь граница на вероятность?

Или, ещё более общо: чему равна энтропия системы, если известно только, что это система из одного признака, который может реализоваться или нереализоваться, но вероятность этого неизвестна?

Нужно ли в этом случае считать, что вероятность равна 1/2 (вероятность встретить динозавра равна 50% для того, кто не знает, что они вымерли)?

Или следует ввести двухступенчатую модель: первая ступень -- это гипотеза о вероятности, а вторая сам исход измерения? Тогда для вычисления энтропии надо использовать условные понятия. Не об этом ли говорил G^a?

[PAV]

Dims писал(а):

Попробуем обобщить задачу: чему равна энтропия системы, если известна лишь граница на вероятность?

Или, ещё более общо: чему равна энтропия системы, если известно только, что это система из одного признака, который может реализоваться или нереализоваться, но вероятность этого неизвестна?

Не определена.

[G^a]

Dims писал(а):

G^a писал(а):

А теперь попробуйте самостоятельно всё это переписать для условных энтропии и информации.

Что-то не представляю, как...

Книги по теориям вероятности и информации: Е.С. Вентцель, Р.Л. Стратонович, А.Н. Колмогоров.

Dims писал(а):

Попробуем обобщить задачу: чему равна энтропия системы, если известна лишь граница на вероятность?

Или, ещё более общо: чему равна энтропия системы, если известно только, что это система из одного признака, который может реализоваться или нереализоваться, но вероятность этого неизвестна?

Второе утверждение - на самом деле - менее общно, нежели утверждение первое, ибо в нём Вы накладываете ограничение на размерность системы и кол-во её состояний - а это по большинству критериев более сильное ограничение, нежели существование границы вероятности.

Dims писал(а):

Нужно ли в этом случае считать, что вероятность равна 1/2 (вероятность встретить динозавра равна 50% для того, кто не знает, что они вымерли)?

Если в лоб, то да 1/2, но!

Dims, чтобы корректно решать такие задачи (априорно неопределённые, или же информационно некорректные) нужно всегда различать исходный процесс, и наблюдаемый, исходную систему - и наблюдаемую, а также их модели.

В Вашем примере (о динозаврах), речь идёт на самом деле не об истинном положении вещей, а о модели наблюдения. Следовательно, для наблюдателя для начала нужно задать уровень его информированности о том, и вероятность того, что динозавры:

1) вообще существовали;
2) существуют сейчас;
3) обитают в зоне наблюдения;
4) обнаруживаются имеющимися методами и способами обнаружения;
5) наблюдатель исправен (вменяем).

И по этой модели уже можно строить энтропийно-информационные оценки верности гипотезы. Так вот, Вы получите в итоге, что наблюдатель Ваш некорректен, и его оценка 1/2 (локально верная), несостоятельна для истинной системы. Следовательно, переносить эту гипотезу на реальное положение вещей - наблюдатель, и Вы - исследователь не имеете право. Иначе - это намеренное введение потребителя информации в заблуждение! Иногда карается по статьям УК РФ.

Dims писал(а):

Или следует ввести двухступенчатую модель: первая ступень -- это гипотеза о вероятности, а вторая сам исход измерения? Тогда для вычисления энтропии надо использовать условные понятия. Не об этом ли говорил G^a?

Да, это первый шаг!

Успехов!

[Dims]

G^a писал(а):

Книги по теориям вероятности и информации: Е.С. Вентцель, Р.Л. Стратонович, А.Н. Колмогоров.

Вот я как раз читаю книгу Венцтеля и у меня возник вопрос. Нельзя ли его разъяснить?

Цитата:

Dims писал(а):

Попробуем обобщить задачу: чему равна энтропия системы, если известна лишь граница на вероятность?

Или, ещё более общо: чему равна энтропия системы, если известно только, что это система из одного признака, который может реализоваться или нереализоваться, но вероятность этого неизвестна?

Второе утверждение - на самом деле - менее общно, нежели утверждение первое, ибо в нём Вы накладываете ограничение на размерность системы и кол-во её состояний - а это по большинству критериев более сильное ограничение, нежели существование границы вероятности.

В первом случае эти ограничения тоже были, просто я полагал, что они очевидны.

Цитата:

В Вашем примере (о динозаврах), речь идёт на самом деле не об истинном положении вещей, а о модели наблюдения.

Я это понимаю.

Цитата:

И по этой модели уже можно строить энтропийно-информационные оценки верности гипотезы. Так вот, Вы получите в итоге, что наблюдатель Ваш некорректен, и его оценка 1/2 (локально верная), несостоятельна для истинной системы.

Вот когда я получу, что наблюдатель некорректен, это будет означать, что я получу дополнительную информацию о системе.

[PAV]

Определить Вы можете все что угодно (естественно, определение должно быть корректным). Но ведь Вы на этом не остановитесь, не так ли? Вы захотите переносить на новое определение свойства старого на том основании, что оно дается по аналогии и вообще называется тем же термином. А вот этого нельзя. Поэтому, в частности, не рекомендуется давать новым понятиям тех же названий, что и старые, по крайней мере в начале исследования.

Если Вы хотите, можете ввести свое нестандартное определение и назовите его как-нибудь типа Dims-энтропия. Это будет напоминать, что никакие свойства обычной энтропии пока что на эту новую не перенесены. А потом уже смотрите, могут ли различные свойства и результаты быть перенесены, и каким образом.

[G^a]

Добрый день, Dims!

Dims писал(а):

Вот я как раз читаю книгу Венцтеля и у меня возник вопрос. Нельзя ли его разъяснить?

Слушаю внимательно.

Dims писал(а):

В первом случае эти ограничения тоже были, просто я полагал, что они очевидны.

Для кого, для Вас? Ибо современные теоретические и прикладные задачи - это как раз изучение систем, размерность пространства состояний которых, и набор самих состояний - далеко отстоят от 1 и 2. Более того, иногда сами состояния не определяются дискретно.

Dims писал(а):

Вот когда я получу, что наблюдатель некорректен, это будет означать, что я получу дополнительную информацию о системе.

Об исходной системе? Нет! О наблюдателе - да. Но с Вашим подходом (пример с динозавром) обнаружить некорректность наблюдателя - неполучится (у Вас не синтезировано минимально необходимое множество критериев детектирования ситуации). Читайте мой предыдущий пост.

И тогда всплывает ещё один вопрос. А собственно Вас какая система и информация о ней интересуют?