Спутники
и
. Цветом луча с Земли кодируется 1 бит информации
или
с вероятностями
. Спутники принимают сообщения
или
для спутника
, и
или
для спутника
. Предположим, что спутники никто не крадёт, каждый переданный с базы сигнал будет принят своим спутником, но каждый спутник может допустить ошибку при декодировании цвета своего сигнала с вероятностью
(одинаковой для обоих спутников и сообщений).
Средняя взаимная информация между принятыми двумя спутниками сообщениями считается стандартным образом через энтропии
и составляет, если я не ошибаюсь,
Для малых вероятностей ошибки она близка к одному биту (но но превышает один бит) на сообщение.
.
Вот только, если мы применяем эту величину не к каналу связи, а к двум спутникам, мы теряем возможность пользоваться теоремами Шеннона о пропускной способности канала связи и теоремами про кодирование сообщений. Тем не менее, формально это определение взаимной информации между парами событий остаётся валидным.
-- 16.01.2018, 21:50 --Вот почему-то энтропию никто субстанцией не называет. И температуру. А информацию…
Всё ещё осложняется тем, что информация не является ни экстенсивной, ни интенсивной термодинамической величиной, к которым все привыкли.