2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Энтропия
Сообщение19.12.2012, 15:05 
Задача.
В испытании с 3 исходами, имеющими вероятности $p, q, r$, энтропия $H\le1$. Доказать, что $\max(p, q, r)\ge\frac{1}{2}$.

Я знаю связь: $H=-\sum_{i=0}^{n}p_i \log_2 p_i$.
$-(p \log_2 p +q\log_2 q + r\log_2 r)\le 1$
Также известно, если $H=1$, то в данном случае $p=q=r=\frac{1}{3}$
Подскажите, какой литературой воспользоваться и с чего следует начать?

 
 
 
 Re: Энтропия
Сообщение20.12.2012, 09:07 
Аватара пользователя
Уже ошибка. При $p=q=r=\frac 1 3$ энтропия будет $\log_2 3=1.5849625007211561814537389439478$

 
 
 
 Re: Энтропия
Сообщение21.12.2012, 12:28 
Аватара пользователя
Доказывайте "от противного". Предположим, что максимальная вероятность из трёх строго меньше одной второй. Что, исходя из этого, можно сказать о двух других? б их сумме? О второй по величине? Каким ограничениям будет удовлетворять максимальная величина, даже без этого предположения?
Каков вклад в выражение для энтропии двух максимальных величин вероятностей?

 
 
 
 Re: Энтропия
Сообщение23.12.2012, 19:42 
Поправьте если слишком поверхностно рассуждаю.
Если максимальная вероятность строго меньше одной второй, следовательно остальные две тоже строго меньше одной второй и больше нуля. Их сумма строго больше одной второй, но меньше единицы. Насколько я понял, то энтропия показывает степень неопределенности, и если одна из вероятностей равна единице, то энтропия равна нулю. Если все вероятности равны, то энтропия максимальна. Про вклад еще поразмышляю, пока не понимаю.

 
 
 
 Re: Энтропия
Сообщение24.12.2012, 18:26 
Пытался сделать так:$
-(p \cdot \log_2p+ q \cdot \log_2q+ r \cdot \log_2q)\le1

-(\log_2p^p+\log_2q^q+\log_2r^r) \le1

-\log_2(p^p \cdot q^q \cdot r^r)\le1

\log_2(p^p \cdot q^q \cdot r^r)\ge-1

p^p \cdot q^q \cdot r^r \ge 1/2$

 
 
 
 Re: Энтропия
Сообщение05.11.2018, 21:42 
Евгений Машеров в сообщении #661348 писал(а):
Доказывайте "от противного". Предположим, что максимальная вероятность из трёх строго меньше одной второй. Что, исходя из этого, можно сказать о двух других? б их сумме? О второй по величине? Каким ограничениям будет удовлетворять максимальная величина, даже без этого предположения?
Каков вклад в выражение для энтропии двух максимальных величин вероятностей?

Сумма двух других вероятностей будет строго больше 1/2.
Максимальная величина без этого предположения строго больше 1/2 но меньше единицы.
Но ни на какие мысли меня это не подталкивает.
Без подстановки конкретных чисел доказать не знаю как.

 
 
 
 Re: Энтропия
Сообщение05.11.2018, 22:50 
Я пришел к такому решению:
Если у нас max(p,q,r)$\leqslant1/2$,пусть это будет p, то из этого следует что $q,r<1/2$. Так же сумма этих вероятностей $p+q+r = 1$. И при уменьшении p мы не можем соблюсти условие, что $q+r = 1 - p$ и при этом $q,r<1/2.$

 
 
 
 Re: Энтропия
Сообщение05.11.2018, 23:03 
nikita102399 в сообщении #1352020 писал(а):
Если у нас max(p,q,r)$\leqslant1/2$,пусть это будет p, то из этого следует что $q,r<1/2$. Так же сумма этих вероятностей $p+q+r = 1$. И при уменьшении p мы не можем соблюсти условие, что $q+r = 1 - p$ и при этом $q,r<1/2.$
Контрпример: $p=0{,}4,\; q=r=0{,}3$, условия $q+r=1-p$ и $q,r<1/2$ соблюдены.

 
 
 
 Posted automatically
Сообщение05.11.2018, 23:19 
 i  Тема перемещена из форума «Вероятность, статистика» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы).

nikita102399, исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

 
 
 [ Сообщений: 9 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group