Спутники 

 и 

. Цветом луча с Земли кодируется 1 бит информации 

 или 

 с вероятностями 

. Спутники принимают сообщения 

 или 

 для спутника 

, и 

 или 

 для спутника 

. Предположим, что спутники никто не крадёт, каждый переданный с базы сигнал будет принят своим спутником, но каждый спутник может допустить ошибку при декодировании цвета своего сигнала с вероятностью 

 (одинаковой для обоих спутников и сообщений).
Средняя взаимная информация между принятыми двумя спутниками сообщениями считается стандартным образом через энтропии 

 и составляет, если я не ошибаюсь, 

 Для малых вероятностей ошибки она близка к одному биту (но но превышает один бит) на сообщение. 

.
Вот только, если мы применяем эту величину не к каналу связи, а к двум спутникам, мы теряем возможность пользоваться теоремами Шеннона о пропускной способности канала связи и теоремами про кодирование сообщений. Тем не менее, формально это определение взаимной информации между парами событий остаётся валидным. 
-- 16.01.2018, 21:50 --Вот почему-то энтропию никто субстанцией не называет. И температуру. А информацию… 

Всё ещё осложняется тем, что информация не является ни экстенсивной, ни интенсивной термодинамической величиной, к которым все привыкли.