2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 формула Шеннона (подсчет количества информации)
Сообщение16.02.2007, 22:34 


16/02/07
8
Подскажите пожалуйста, где можно найти курс по теории информации, после изучения которого можно научиться решать такие задачи (или на пальцах объясните, как их научиться решать).
"На международном авиасалоне были представлены 3 образца самолетов производства Англии, 4 производства Франции, 11 производства России и 10 самолётов производства США.
Укажите вариант формулы, которая позволяет определить полную информацию от сообщения, выясняющего, является ли взятый наугад самолёт самолётом французского производства?"

Даны варианты ответов:

1) –(3/28*log(3/28)+1/7*log(1/7)+11/28*log(11/28)+5/14*log(5/14));
2) –(6/7log6-log7);
3) –(6/7log7-log6);
4) –log(1/7);
5) Log(28);
Основавние всех логарифмов – 2, вставить не знаю как.
Формулу Шенона я знаю(вариант ответа – 1)), но она даёт среднюю величину количества информации от любого из возможных сообщений, если я правильно понимаю, а здесь нужно количество информации для конкретного события. Вероятность этого события = 4/28=1/7, значит I= - log(1/7))

Правильный вариант ответа, ОЧЕВИДНО, - 4);
В ответах тестов значится правильный ответ – 2). ??????

 Профиль  
                  
 
 
Сообщение16.02.2007, 22:46 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Вопрос задан, на мой взгляд, криво. Но что имеется в виду, понятно.

Вы говорите о количестве информации, которое содержится в сообщении, имеющем вероятность $p$. Она действительно определяется по формуле $-\log p$.

Такой ответ был бы, если бы речь шла о сообщении "данный самолет французского производства".

Но в задаче речь идет не об этом сообщении, а о вопросе "произведен ли данный самолет французами или нет". На этот вопрос мы с вероятностью $\frac{1}{7}$ получаем ответ "да" и с вероятностью $\frac{6}{7}$ ответ "нет". Речь идет о среднем количестве информации, содержащемся в ответе. Оно называется энтропией сообщения и задается формулой
$-\frac{1}{7}\log\frac{1}{7}-\frac{6}{7}\log\frac{6}{7}$.
После простых преобразований это дает в точности выражение в ответе 2.

 Профиль  
                  
 
 
Сообщение17.02.2007, 12:13 


16/02/07
8
Большое спасибо за подсказку, сам думать поленился.
Но всё-таки,может кто-нибудь сможет дать ссылку на какой-нибудь практикум по основам информатики с задачами и примерами их решений посложнее стандартной школной программы.

Добавлено спустя 29 минут 1 секунду:

Спасибо, нашёл в соседнем разделе, извините за беспокойство

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 3 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group