2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




 
 Простая задача на энтропию
Сообщение16.03.2013, 08:43 
Добрый день! Начался новый предмет и надо решить задачку. Она, видимо, очень простая, но есть один вопрос.

Собственно, задача:
Шахматная фигура может находиться на левой или правой половине доски равновероятно. Определить среднюю энтропию размещения фигуры при наличии информации о части доски, где она размещена.

Ну, понятно, что $H(X) = \log64$
Если бы мне было известно сообщение, что "фигура находится на левой/правой половине доски", то все просто: $H(X|S) = \log 32$

В моей же задаче указана вероятность размещения на доске. Как быть, подскажите, пожалуйста.

 
 
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 08:53 
Аватара пользователя
Есть два способа считать энтропию распределения. Один - по формуле с $p_i$ и логарифмами, а другой - через божественное откровение. Вы второй предпочитаете, я так понял?

 
 
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 09:00 
Знаю прекрасно, что с логарифмами. $H(X|S), H(X)$ именно так и получены. Но $H(X|S)$ - это если есть конкретное сообщение. Например, "фигура находится на белой клетке". В моей задаче такого нет. Вот конкретный вопрос тогда: эта задача на условную энтропию или фраза про равновероятное нахождение фигуры на левой или правой половине доски здесь как-то по-другому влияет?

 
 
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 09:38 
Аватара пользователя
Наличие информации о части доски, где размещена фигура - это ровно такое же конкретное сообщение, как "фигура находится на белой клетке", разве нет?

 
 
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 10:13 
ИСН в сообщении #696446 писал(а):
Наличие информации о части доски, где размещена фигура - это ровно такое же конкретное сообщение, как "фигура находится на белой клетке", разве нет?

В целом - конечно, но зачем указывать тогда, с какой вероятностью она может находиться на одной из половин?

И, то есть, правильный ответ - $\log32$ ?

 
 
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 10:19 
Аватара пользователя
Получается так.
Я бы условие воспринял как "фигура подчиняется равномерному распределению вероятности, и таким образом, может находиться на левой или правой половине доски с 1/2...", только коряво сформулированное.

 
 
 [ Сообщений: 6 ] 


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group