Задачка на энтропию Шеннона

[GlazkovD]

Не могу понять противоречия. Наш БГУИРовский конспект лекций говорит о следующих свойствах этропии.

Самое интересное свойство выделено красным.

А теперь задача и мои мысли.
Определить зависимость энтропии двоичного источника сигналов U1 и U2 если вероятность появления сигнала U1 может изменяться от нуля до максимума с шагом $\Delta$P=1/3

Мои мысли:

В задаче скорее всего требуется определить энтропию дискретного источника информации, а она в свою очередь определяется формулой Шеннона

$$-\sum\limits_{i=1}^n Pi*log(Pi,2)$$

Если вероятность появления сигнала U1 изменяется как 0;1/3;2/3;3/3 то вероятность
появления сигнала U2 соответственно изменяется как 1-0;1-1/3;1-2/3;1-3/3
В результате при подстановке в формулу Шеннона и прорисовки графика- получаем прямую линию энтропии.
Т.к. приращение в одном члене суммы вызывает убываение в другом.
Непонятен смысл свойства, которое выделено красным. Или о какой энтропии идет речь(выделение красным) ?

[Профессор Снэйп]

Я думаю, что в обведённом красным месте просто опечатка.

[GlazkovD]

Хм. На опечатку мало похоже. Судя по тексту это должно быть что то типо параболы.
Вопрос еще такой, правильно ли я определился с формулой для решения задачи, или я
путаю божий дар с яичницой ? Всеравно по этой формуле получается прямая линия.

[Gafield]

Формула правильная. Только почему прямая? На концах нули, см. выше, а в середине нет.

[GlazkovD]

Хм. Написал все в MathCAD. Всеравно прямая.

Возможно я ее неправильно понимаю(я про формулу) ?

-- Вс авг 09, 2009 00:06:25 --

Да и в случае когда P=0 один из логарифмов просто не существует.

-- Вс авг 09, 2009 01:50:03 --

Р.Л.Стратонович "Теория информации" на странице 15 говорит что неопределенность вида 0log0 считать нулем.
Однако внутри области где логарифмы определены получается прямая, точнее const.

-- Вс авг 09, 2009 05:10:08 --

[GlazkovD]

При большей дискретезации шага вероятности наблюдается вполне естественная парабаличность энтропии.