Задачка на энтропию...

[Redmann]

Доброго времени суток!
Помогите, пожалуйста, разобраться с задачей:
"По заданным значениям H(x) и H(y) найти H(x/y), если H(y/x)= 1бит."
Чувствую, что задача элементарная, однако туплю :)

-- 04.03.2012, 12:11 --

решил рассмотреть задачу на примере:
допустим, есть несколько вариантов отправляемого сообщения и несколько вариантов того, что может быть принято при отправлении каждого возможного варианта:
y-отправленное сообщение
x-принятое сообщение

y
1)7 или 8
2)4 или 5
3)11 или 12

x
1) 1 или 3 или 8 или 9
2) 2 или 7 или 14 или 15
3) 5 или 6 или 17 или 13

Таким образом в данном случае H(y)=1бит (так как возможно лишь 2 варианта отправляемого сигнала), а H(X)=2бита (так как каждому из y соответствует 4 возможных состояния x)

Теперь, допустим, что мы получили цифру 17. Значит H(y|x)=Н(y)=1 бит (энтропия отправленного сигнала при условии известного полученного сигнала). Следовательно, если мы отправим, скажем, цифру 4, то Н(x|y)=H(x)=2 бита (энтропия полученного сигнала, при условии известного отправленного сигнала).

Значит ли это, что в исходной задаче H(x|y)=H(x) ?

[cyb12]

Объясните, пожалуйста, что означают варианты 1), 2), 3). Известно ли, и кому, какой из них реализуется?

[Redmann]

1, 2, 3 - это варианты передаваемого(y)/принимаемого(x) сообщения. Например цифре 1 соответствует что может быть отправлено (y) либо число 7 либо 8. Какое именно - не известно, поэтому и существует энтропия. И при этом будет принято(x) одно из четырех чисел комбинации соответствующей комбинации "1", т.е 1,3,7 или 9. Короче единичке из игреков, соответствует единичка из иксов :)
А реализовываться может наверное любой из трех, что по сути не важно, так как энтропия будет одинакова во всех случаях.... но это опять же мое предположение
надеюсь доходчиво объяснил ход своих мыслей

[--mS--]

Ничего не понимаю в энтропиях, однако: известно ли Вам свойство условной энтропии, которое нарисовано, например, вот тут (посредине, мелким шрифтом)?