... а мера количества информации, введенная Шенноном, так и осталась никому не нужной его теоретической выдумкой.
Ну это вы зря.
Теория информация Шеннона - это в какой-то мере составная часть байезианской революции в статистике. Это только на первый взгляд возвращение к другой, субъективистской интерпретации вероятности. На самом деле это расширение применения методов теории вероятности там, где о частоты в каких-то экспериментах говорить не имеет смысла - например, с какой вероятности теория А правильна.
А, оказывается, такие вопросы вполне имеют смысл. Есть просто законы логики, которые применимы к рассуждениям если нет полной информацией. И эти законы - те же, что и законы теории вероятности. Что можно доказать исходя из простых аксиом, которые по сути запрещают только рассуждения которые приведут к противоречиям.
Самым сложным вопросом при этом оказалось вопрос, какое распределения вероятности надо использовать если нет никакой информации или ее очень мало. Как изменить ее когда прибавляется новая информация - для этого есть теорема Байеза (ну, или как транскрибируется Bayes), но как начинать не всегда так ясно. Если есть n возможностей и нет никакой информацией которая их различает, ясно, p=1/n. Но это не всегда так. И тут помогла теория информация Шеннона, которая сказала что надо при этом брать ту с максимальной энтропией.
Этого уже достаточно. По сути это часть превращения статистики - в той части, в которой рассуждается о выборе между разными теориями - из гадания на базе интуиции (и гениальности Лапласа) в науку. С многими корректировками этих гадании. Об этом см. E. T. Jaynes, Probability Theory: The Logic of Science.
Следующая ступенка - переинтерпретация термодинамики. Тоже на первый взгляд только переинтерпретация. А на второй оно дает много нового в области неравновесия. Потому что там можно использовать относительную энтропию. Если энторпия - физическое свойство, то непонятно как обосновать его использование, ведь только одно из двух состоянии реально существует. А при информационном подходе относительная информация даже лучше определена чем абсолютная.
A. Caticha -- Lectures on Probability, Entropy and Statistical Physics, arxiv:0808.0012