Максимум энтропии распределения

[marie-la]

Рассмотрим всевозможные дискретные случайные величины $\xi$ с $E\xi=2$, распределенные на всевозможных натуральных числах, $p_k=P(\xi=k),k=1,2,...$ Найти среди таких $\xi$ такое распределение, на котором энтропия $H(\xi)=-\sum\limits_{k=1}^{\infty}p_k \log p_k$ максимальна.
Я зафиксировала последние координаты, записала для первых функцию Лагранжа и прикинула, что будет в пределе при количестве первых координат стремящемся к бесконечности. Получила $p_k=2^{-k}$. А вот как доказать, что это нужное распределение? Мне даже не очевидно, что при фиксированных координатах множители Лагранжа (а, значит, и вероятности) находятся однозначно. Как такой предельный переход обосновать? Или, возможно, известно значение максимума энтропии при известном мат. ожидании?

[Someone]

marie-la в сообщении #1516473 писал(а):

Получила $p_k=2^{-k}$.

А я получил $p_k=0$ для всех $k$.

Кстати, обратите внимание, что величина энтропии никак не зависит от возможных значений случайной величины и, следовательно, никак не связана с математическим ожиданием.

Попробуйте изложить здесь своё решение.

[marie-la]

Someone

Там же условный максимум
$-\sum\limits_{k=1}^{\infty}p_k \log p_k$
при $\sum\limits_{k=1}^{\infty}p_k=1$, $\sum\limits_{k=1}^{\infty}k p_k=2$. Не могут в результате вероятности нулевые получиться, условие на сумму должно выполняться. И через второе равенство величина энтропии связана с мат. ожиданием. Просто можно ли формально записывать функцию Лагранжа и дифференцировать для счетного числа переменных? Если можно, то все просто.

[Someone]

marie-la в сообщении #1516481 писал(а):

условие на сумму должно выполняться.

А оно и выполняется. До перехода к пределу. А предел всё обнуляет.

[marie-la]

Someone в сообщении #1516483 писал(а):

А оно и выполняется. До перехода к пределу. А предел всё обнуляет.

Не вижу, каким образом.
Функция Лагранжа
$F\left( {{p}_{1}},{{p}_{2}},...,{{p}_{n}} \right)=-\sum\limits_{k=1}^{\infty }{{{p}_{k}}\log {{p}_{k}}}+{{\lambda }_{1}}\left( \sum\limits_{k=1}^{n}{{{p}_{k}}}+\sum\limits_{k=n+1}^{\infty }{{{p}_{k}}}-1 \right)+{{\lambda }_{2}}\left( \sum\limits_{k=1}^{n}{k{{p}_{k}}}+\sum\limits_{k=n+1}^{\infty }{k{{p}_{k}}}-2 \right)$

Приравниваем производные к нулю
${{p}_{k}}=\frac{1}{e}{{2}^{{{\lambda }_{1}}+k{{\lambda }_{2}}}},k=1,2,...,n$

Обозначаем
$\frac{1}{e}{{2}^{{{\lambda }_{1}}}}={{t}_{1}},{{2}^{{{\lambda }_{2}}}}={{t}_{2}}$

Получаем

$$\begin{cases} {{p}_{k}}={{t}_{1}}{{t}_{2}}^{k},k=1,2,...,n &\\ {{t}_{1}}\sum\limits_{k=1}^{n}{{{t}_{2}}^{k}}=1-\sum\limits_{k=n+1}^{\infty }{{{p}_{k}}} &\\ {{t}_{1}}\sum\limits_{k=1}^{n}{k{{t}_{2}}^{k}}=2-\sum\limits_{k=n+1}^{\infty }{k{{p}_{k}}}& \end{cases}$$

Если посчитать, что $t_1$ и $t_2$ имеют пределы при $n\to\infty$ то суммируем бесконечные ряды, решаем, и получаем $t_1=1, t_2=\frac{1}{2}$ и отсюда вероятности.

[Someone]

marie-la, прошу прощения, немножко невнимательно прочитал условие.
Сейчас посмотрю ещё.

-- Вс май 02, 2021 21:28:55 --

Да, верно.

[novichok2018]

Мне кажется, есть общее известное неравенство для энтропии Шеннона, из него виден максимум как условие равенства. Это так?

[marie-la]

novichok2018 в сообщении #1516671 писал(а):

Мне кажется, есть общее известное неравенство для энтропии Шеннона, из него виден максимум как условие равенства. Это так?

Можете уточнить, что имеете в виду? Там же еще условие на мат.ожидание, то есть не из всех возможных случайных величин берется.

[novichok2018]

Я имел в виду известное неравенство для энтропии в случае конечной суммы, например, как здесь
http://www.lirmm.fr/~ashen/racaf/2019-r ... e-talk.pdf
Из него получается, что максимум достигается при равных вероятностях, он равен логарифму числа слагаемых (неравенство Иенсена). Условие на матожидание даёт величины этих равных слагаемых. Тогда вроде для бесконечной суммы максимум стремится к бесконечности, правильно?
Не знаю, можно ли бесконечный ряд тоже называть энтропией с полным выполнением её свойств. Из стандартного набора свойств по теореме Шеннона следует вроде, что это именно такая конечная сумма с точностью до константы (выбора основания логарифмов), обобщения этой теоремы на бесконечный ряд не знаю. Если так, то одно из базовых свойств энтропии, входящее в условия теоремы Шеннона, должно нарушаться для ряда, если я правильно понимаю.
Когда-то придумал такое определение энтропии: это минус логарифм от некоторого среднего. Понятно, что известно, интересно узнать, где это явно прописано.

[mihiv]

Если максимум существует, то можно найти необходимое условие на вероятности $p_k$. Для этого изменим $p_k,p_{k+1},p_{k+2}$ на малые добавки($k$ любое): $\delta _k,\delta _{k+1}, \delta _{k+2}$. Так как экстремум условный, добавки должны удовлетворять условиям: $\delta _k+\delta _{k+1}+\delta _{k+2}=0$ и $k\delta _k+(k+1)\delta _{k+1}+(k+2)\delta _{k+2}=0$. Из этих уравнений получим: $\delta _{k+2}=\delta _k,\delta _{k+1}=-2\delta _k$.
Изменение энтропии при этом:

$$\delta H=-\left (\delta _k(1+\ln p_k)+\delta _{k+1}(1+\ln p_{k+1})+\delta _{k+2}(1+\ln p_{k+2}\right )=-\delta _k\left (\ln p_k-2\ln p_{k+1}+\ln p_{k+2}\right )=0$$

Отсюда получим: $p_kp_{k+2}=p_{k+1}^2$ или $\dfrac {p_{k+1}}{p_k}=\dfrac {p_{k+2}}{p_{k+1}}$, то есть вероятности образуют геометрическую прогрессию. Учтем условие нормировки и $E\xi$.