|
Уважаемые, помогите пожалуйста разобраться. Засел за вопрос моделирования некой информационной системы и, естественно, при оценке эффективности приходится некоторые параметры выражать посредством энтропии. Вот в процессе никак не укладывается следующая неопределенность. В близкие моменты времени t1 и t2 система поражает два сообщения. Сообщения порождаемые системой входят в множество состояний X, при этом независимы друг от друга, т.е. на лицо цепь Маркова некоторого порядка. Однако получение сообщения x1 означает (по природе моделируемой системы) с высокой долей вероятности, что в t2 будет получено сообщение x2 или x3 или x4 или x5, а не y2 или y3 или y4 или y5, т.е. существует СТАТИСТИЧЕСКАЯ ЗАВИСИМОСТЬ. Естественно, что чем больше информации,содержащейся в сообщениях, мы получим, тем точнее мы сможем определить состояние в отором система находится (А,Б,В).
Вопрос заключается в следующем:
1. Можем ли мы в дальнейшем рассматривать условную и взаимную энтропию?
2. Правильно ли я понимаю, что несмотря на то, что условная энтропия "несет" меньше информации чем для независимых источников, в данном случае она более эфективна, т.к. сообщение может быть характерно для нескольких состояний, и если сообщения независимы, не способно решить задачу классификации?
Спасибо заранее.
|
