Энтропия

[Gaary_P]

Задача.
В испытании с 3 исходами, имеющими вероятности $p, q, r$, энтропия $H\le1$. Доказать, что $\max(p, q, r)\ge\frac{1}{2}$.

Я знаю связь: $H=-\sum_{i=0}^{n}p_i \log_2 p_i$.
$-(p \log_2 p +q\log_2 q + r\log_2 r)\le 1$
Также известно, если $H=1$, то в данном случае $p=q=r=\frac{1}{3}$
Подскажите, какой литературой воспользоваться и с чего следует начать?

[Евгений Машеров]

Уже ошибка. При $p=q=r=\frac 1 3$ энтропия будет $\log_2 3=1.5849625007211561814537389439478$

[Евгений Машеров]

Доказывайте "от противного". Предположим, что максимальная вероятность из трёх строго меньше одной второй. Что, исходя из этого, можно сказать о двух других? б их сумме? О второй по величине? Каким ограничениям будет удовлетворять максимальная величина, даже без этого предположения?
Каков вклад в выражение для энтропии двух максимальных величин вероятностей?

[newline]

Поправьте если слишком поверхностно рассуждаю.
Если максимальная вероятность строго меньше одной второй, следовательно остальные две тоже строго меньше одной второй и больше нуля. Их сумма строго больше одной второй, но меньше единицы. Насколько я понял, то энтропия показывает степень неопределенности, и если одна из вероятностей равна единице, то энтропия равна нулю. Если все вероятности равны, то энтропия максимальна. Про вклад еще поразмышляю, пока не понимаю.

[newline]

Пытался сделать так:$ -(p \cdot \log_2p+ q \cdot \log_2q+ r \cdot \log_2q)\le1 -(\log_2p^p+\log_2q^q+\log_2r^r) \le1 -\log_2(p^p \cdot q^q \cdot r^r)\le1 \log_2(p^p \cdot q^q \cdot r^r)\ge-1 p^p \cdot q^q \cdot r^r \ge 1/2$

[nikita102399]

Евгений Машеров в сообщении #661348 писал(а):

Доказывайте "от противного". Предположим, что максимальная вероятность из трёх строго меньше одной второй. Что, исходя из этого, можно сказать о двух других? б их сумме? О второй по величине? Каким ограничениям будет удовлетворять максимальная величина, даже без этого предположения?
Каков вклад в выражение для энтропии двух максимальных величин вероятностей?

Сумма двух других вероятностей будет строго больше 1/2.
Максимальная величина без этого предположения строго больше 1/2 но меньше единицы.
Но ни на какие мысли меня это не подталкивает.
Без подстановки конкретных чисел доказать не знаю как.

[nikita102399]

Я пришел к такому решению:
Если у нас max(p,q,r)$\leqslant1/2$,пусть это будет p, то из этого следует что $q,r<1/2$. Так же сумма этих вероятностей $p+q+r = 1$. И при уменьшении p мы не можем соблюсти условие, что $q+r = 1 - p$ и при этом $q,r<1/2.$

[Dmitriy40]

nikita102399 в сообщении #1352020 писал(а):

Если у нас max(p,q,r)$\leqslant1/2$,пусть это будет p, то из этого следует что $q,r<1/2$. Так же сумма этих вероятностей $p+q+r = 1$. И при уменьшении p мы не можем соблюсти условие, что $q+r = 1 - p$ и при этом $q,r<1/2.$

Контрпример: $p=0{,}4,\; q=r=0{,}3$, условия $q+r=1-p$ и $q,r<1/2$ соблюдены.

[Pphantom]

Тема перемещена из форума «Вероятность, статистика» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы).

nikita102399, исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.