формула Шеннона (подсчет количества информации)

[redfield]

Подскажите пожалуйста, где можно найти курс по теории информации, после изучения которого можно научиться решать такие задачи (или на пальцах объясните, как их научиться решать).
"На международном авиасалоне были представлены 3 образца самолетов производства Англии, 4 производства Франции, 11 производства России и 10 самолётов производства США.
Укажите вариант формулы, которая позволяет определить полную информацию от сообщения, выясняющего, является ли взятый наугад самолёт самолётом французского производства?"

Даны варианты ответов:

1) –(3/28*log(3/28)+1/7*log(1/7)+11/28*log(11/28)+5/14*log(5/14));
2) –(6/7log6-log7);
3) –(6/7log7-log6);
4) –log(1/7);
5) Log(28);
Основавние всех логарифмов – 2, вставить не знаю как.
Формулу Шенона я знаю(вариант ответа – 1)), но она даёт среднюю величину количества информации от любого из возможных сообщений, если я правильно понимаю, а здесь нужно количество информации для конкретного события. Вероятность этого события = 4/28=1/7, значит I= - log(1/7))

Правильный вариант ответа, ОЧЕВИДНО, - 4);
В ответах тестов значится правильный ответ – 2). ??????

[PAV]

Вопрос задан, на мой взгляд, криво. Но что имеется в виду, понятно.

Вы говорите о количестве информации, которое содержится в сообщении, имеющем вероятность $p$. Она действительно определяется по формуле $-\log p$.

Такой ответ был бы, если бы речь шла о сообщении "данный самолет французского производства".

Но в задаче речь идет не об этом сообщении, а о вопросе "произведен ли данный самолет французами или нет". На этот вопрос мы с вероятностью $\frac{1}{7}$ получаем ответ "да" и с вероятностью $\frac{6}{7}$ ответ "нет". Речь идет о среднем количестве информации, содержащемся в ответе. Оно называется энтропией сообщения и задается формулой
$-\frac{1}{7}\log\frac{1}{7}-\frac{6}{7}\log\frac{6}{7}$.
После простых преобразований это дает в точности выражение в ответе 2.

[redfield]

Большое спасибо за подсказку, сам думать поленился.
Но всё-таки,может кто-нибудь сможет дать ссылку на какой-нибудь практикум по основам информатики с задачами и примерами их решений посложнее стандартной школной программы.

Добавлено спустя 29 минут 1 секунду:

Спасибо, нашёл в соседнем разделе, извините за беспокойство