2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Простая задача на энтропию
Сообщение16.03.2013, 08:43 


16/03/13
3
Добрый день! Начался новый предмет и надо решить задачку. Она, видимо, очень простая, но есть один вопрос.

Собственно, задача:
Шахматная фигура может находиться на левой или правой половине доски равновероятно. Определить среднюю энтропию размещения фигуры при наличии информации о части доски, где она размещена.

Ну, понятно, что $H(X) = \log64$
Если бы мне было известно сообщение, что "фигура находится на левой/правой половине доски", то все просто: $H(X|S) = \log 32$

В моей же задаче указана вероятность размещения на доске. Как быть, подскажите, пожалуйста.

 Профиль  
                  
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 08:53 
Заслуженный участник
Аватара пользователя


18/05/06
13440
с Территории
Есть два способа считать энтропию распределения. Один - по формуле с $p_i$ и логарифмами, а другой - через божественное откровение. Вы второй предпочитаете, я так понял?

 Профиль  
                  
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 09:00 


16/03/13
3
Знаю прекрасно, что с логарифмами. $H(X|S), H(X)$ именно так и получены. Но $H(X|S)$ - это если есть конкретное сообщение. Например, "фигура находится на белой клетке". В моей задаче такого нет. Вот конкретный вопрос тогда: эта задача на условную энтропию или фраза про равновероятное нахождение фигуры на левой или правой половине доски здесь как-то по-другому влияет?

 Профиль  
                  
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 09:38 
Заслуженный участник
Аватара пользователя


18/05/06
13440
с Территории
Наличие информации о части доски, где размещена фигура - это ровно такое же конкретное сообщение, как "фигура находится на белой клетке", разве нет?

 Профиль  
                  
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 10:13 


16/03/13
3
ИСН в сообщении #696446 писал(а):
Наличие информации о части доски, где размещена фигура - это ровно такое же конкретное сообщение, как "фигура находится на белой клетке", разве нет?

В целом - конечно, но зачем указывать тогда, с какой вероятностью она может находиться на одной из половин?

И, то есть, правильный ответ - $\log32$ ?

 Профиль  
                  
 
 Re: Простая задача на энтропию
Сообщение16.03.2013, 10:19 
Заслуженный участник
Аватара пользователя


18/05/06
13440
с Территории
Получается так.
Я бы условие воспринял как "фигура подчиняется равномерному распределению вероятности, и таким образом, может находиться на левой или правой половине доски с 1/2...", только коряво сформулированное.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group