Фраза "шар содержит столько-то информации" плохая. Величина

, которую Вы посчитали, это энтропия данной системы, и она обозначает следующее. Допустим, что из указанной урны извлекаем случайный шар, записываем его цвет. Кладем обратно, перемешиваем, извлекаем второй. И так далее. Получаем длинную последовательность исходов независимых экспериментов. Так вот, при оптимальном кодировании этой последовательности на каждый символ в среднем нужно затратить

бит. В этом смысле можно говорить, что каждое случайное извлечение шара действительно дает нам

бит информации.
То есть, если у нас всего три цвета, то нужно

бита для записи каждого цвета. И это есть энтропия системы?
Или тут так, что зелёные шары встречаются в половине случаев, и на них можно тратить

бит, а на каждый из остальных по

бита, при многочисленных экспериментах получится

бит в половине случаев и

бита в оставшейся половине, в среднем полтора бита и энтропия системы равна

?
(Оффтоп)
Извиняюсь за наивные вопросы, для меня эта теория --- terra incognita.
-- Пт фев 26, 2010 20:12:46 --Кстати, упомянутая топикстартером "формула Шеннона" даёт
