В своей теме
http://dxdy.ru/topic53801я обращал внимание что в школьном преподавании основ теории инфомации часто "зажимают" формулу Шеннона,
ограничиваясь формулой Хартли
Я усматриваю здесь связь с исторически сложившимися разными попытками определения вроятности:
Есть т.н. классическое "отношение числа благоприятствующих случаев к их общему числу
при предположениях о равновозможности исходов (в информатике -одинаковая вероятность появления символов сообщения)
и т.н. статистическое. Получаются когда в информатике исследуются сообщения, т.е статистическим путем определяется например частоты появления букв в нем ,при этом эти частоты как правило получаются разными то может работать лишь ф-ла Шеннона.
По моему 2-й подход естественен, а 1-й подход (предположение о равновозможности) неадекватен действительности (притянут за уши)