аздача по теории информации

[Anton_DM]

Определить пропускную способность симметрического канкла с матрицей вероятностьей

\[ \begin{gathered} P(Y|X) = \left( {\begin{array}{*{20}c} {1/3} & {1/3} & {1/6} & {1/6} \\ {1/6} & {1/6} & {1/3} & {1/3} \\ \end{array} } \right) \hfill \\ X = (x_1 ,x_2 ,x_3 ,x_4 ) \hfill \\ Y = (y_1 ,y_2 ) \hfill \\ \end{gathered} \]

Насколько мне известно то пропускная способность канала:

\[ c = \mathop {\max }\limits_{P(A)} (H(B) - H(B|A)) = \mathop {\max }\limits_{P(A)} M(\log \frac{{p(a_i ,b_j )}} {{p(a_i )p(b_j )}}) \]

А как мне узнать

\[ p(a_i ) \]

и

\[ p(b_j ) \]

Подскажите пожалуйста.

[Андрей123]

$P(a_i)=P(Y=y_i)=sum_{ j}p(a_i,b_j), P(b_j)=P(X=x_j)=sum_{i}p(a_i,b_j)$

Добавлено спустя 1 минуту 21 секунду:

Извините, это неверно.

[Anton_DM]

ага
вот и тоже думаю думаю кручу верчу
ничего не получается
у меня подозрение что

\[ P(X|Y) \]

а не

\[ P(Y|X) \]

Добавлено спустя 2 минуты 54 секунды:

ибо

\[ \sum\limits_i {P(y_i |X)} = \frac{1} {2} \]

а должно быть
равно 1

Добавлено спустя 1 минуту:

а вот если

\[ P(X|Y) \]

то все сходиться
только это проблемы не решает.

[Андрей123]

Я не знаю, что такое симметрический канал, но если я правильно понял, то P(Y|X) - матрица, на пересечении i-ой строки и j-го столбца которой должна стоять вероятность $P(Y=y_i,X=x_j)$. Если это так, то то, что я написал верно, но сумма всех вероятностей равна 2, а не 1, что меня и смутило

[Anton_DM]

нет это не так это значит что это как и написано в условии это матрица условных вероятностей
а на пересечении стоят условные вероятности

\[ P(y_i |x_j ) \]

но как я уже писал выше это скорее всего ошибка в условии и скорее всего

\[ P(x_i |y_j ) \]

[Someone]

Андрей123 писал(а):

Я не знаю, что такое симметрический канал, но если я правильно понял, то P(Y|X) - матрица, на пересечении i-ой строки и j-го столбца которой должна стоять вероятность $P(Y=y_i,X=x_j)$. Если это так, то то, что я написал верно, но сумма всех вероятностей равна 2, а не 1, что меня и смутило

Видимо, там всё-таки стоят вероятности $P(X=x_j|Y=y_i)=\frac{P(X=x_j,Y=y_i)}{P(Y=y_i)}$, то есть, речь идёт о матрице $P(X|Y)$. Тогда, как и положено, для каждого $i$ выполняется равенство $\sum\limits_jP(X=x_j|Y=y_i)=1$.

[Anton_DM]

Однако, как быть? Это проблемы не решает. А мне бы хоть зацепку.
А теорию вероятности я и так нормально знаю так что сэтим разберусь.
Очень прошу хоть какую зацепку. Чувствую что данных не хватает.

[PAV]

В данной задаче 4 неизвестных - это распределение входов $p(a_i)$. На них есть одно дополнительное соотношение, так как сумма равна 1, плюс условие неотрицательности. Условные веротности переходов $p(b_j|a_i)$ заданы. Выходные вероятности $p(b_j)$ являются при этом линейными функциями входных, а совместные вероятности $p(a_i,b_j)$ - квадратичными функциями. Ваша задача при этом записывается в виде задачи на максимум при ограничениях типа равенств и неравенств. Для этих задач есть алгоритмы решения.

Но в данной задаче явно просматривается симметрия. Если я не ошибаюсь (нужно уточнить), то совместная информация есть выпуклый функционал по распределениям. А тогда из симметрии легко показать, что симметричные переменные должны быть равными. Подозреваю, что максимум достигнется на равномерном распределении.

[Anton_DM]

сегодня подошел к преподователю. Попытался разобраться в чем дело. Вроде разобрались, условия действительно некорректны.
Будем уточнять. Всем спасибо.
PAV вас благодарю за идею. Это тоже пригодится.