задача по теории информации (условная максимизация энтропии)

[SEREG@]

Пусть вероятностная схема $A$ имеет бесконечное множество исходов $a(i)$. Подобрать такие значения вероятностей чтоб энтропия $H(A)$ достигла наибольшего значения при условии что сумма

$$ \sum_{k=1}^\infty k\cdot p(a(k)) $$

есть заданая фиксированая величина. И посчитать значение энтропии при этом распределении.

[Хорхе]

Бред потерт.

-- Пн июн 22, 2009 17:45:19 --

Минимизировать легко, максимизировать - не знаю как. Можно попробовать Куна-Таккера.

-- Пн июн 22, 2009 17:49:56 --

Максимизировать тоже легко. С помощью неравенства Йенсена легко имеем, что максимизирующее распределение на самом деле геометрическое с некоторым параметром.

[ИСН]

Это сильно завуалированный способ описать распределение Больцмана (из физики).

[fiktor]

Итак, надо найти величины p(a(k)). Будем для краткости их обозначать просто $p_k$.

Они должны удовлетворять следующим условиям:
1. $S_1 = \sum_{k=1}^\infty p_k = 1$
2. $S_2 = \sum_{k=1}^\infty kp_k = b$ (b --- заданная величина)
Заметим, что вторая сумма не меньше первой. Поэтому при b<1 задача не имеет решения.
При b=1 единственное решение --- $p_1 = 1$, остальные --- нули. Энтропия = 0.
Будем считать далее, что b>1.
3. Энтропия $S_3 = H(A) = \sum_{k=1}^\infty p_k \Ln(1/p_k)$ максимальна.
(замечание: определение энтропии может быть с логарифмом по другому основанию, например 2. Это не влияет на суть задачи: просто H(A) умножится на постоянный коэффициент $Log_x (e)$, где x --- основание логарифма в Вашем определении энтропии, а $e=2.718281828459045\dots$ --- основание логарифма в моем)

Нахождение максимума при условии можно делать, например, так. Выражение $S = S_3 - c S_2 - d S_1$ должно достигать локального экстремума (c, d --- некоторые константы, которые можно будет определить в самом конце из равенств $S_1=1$ и $S_2 = b$).

Если $p_k$ отлично от крайних значений (0 и 1), то производная $\frac{\partial S}{\partial p_k}$ должна быть равна 0. Будем считать (см. 4*), что все вероятности отличны от 0 и 1. Тогда для всех k должны выполнятся равенства
$1 + \Ln(p_k) + c k + d = 0$ (умножили для удобство равенство на -1)
Отсюда заключаем, что $p_k = e^{-1-d-ck}$.

Вам осталось:
1. Суммированием геометрической прогрессии записать явно равенство $S_1=1$ и чуть сложнее равенство $S_2 = b$.
2. Найти d и c.
3. Сосчитать энтропию H(A).
4*. Понять, почему случаи, когда хотя бы одна из вероятностей равна 0 и 1 в качестве искомого максимума не годятся (мы их не рассмотрели).