В формуле Шеннона информация подсчитывается для некого стохастического, вероятностного потока.
Чего? Вероятность - это всегда нечто такое, что взято из
вероятностной модели некой предметной области.
Последовательных измерений некой случайной величины, или последовательности случайных событий.
Никакого смысла в информации в формуле Шеннона не предполагается.
Вероятностная модель - это и есть "смысл". А "последовательность измерений" - это уже какие-то частные случаи "смысла". Мы же говорили о случае, когда "измерение" только одно: Мы получили сообщение в виде некоего набора непонятных символов.
Критикуя, мою позицию, Вы игнорируете (скорее всего сознательно, ибо не могу представить, что Вы не знаете) огромный кусок современной математики - математическую статистику.
Собственного говоря, именно матстатистика дает методы для оценок, как точечных, так и интервальных, параметров распределений случайных величин, в том числе и для случаев, когда значение случайной величины не является не зависимым от предыдущих значений (цепи Маркова и анализ временных рядов, например).
Надеюсь, что Вы хотя бы примерно понимаете, о чём сейчас говорите. Не стоит так уж безмерно преклоняться перед этой самой матстатистикой, ибо любые методы, которые она предлагает, основаны на изрядных априорных допущениях, которые отнюдь не для всех случаев являются адекватными. Попробую дать небольшой намёк: Чтобы вообще имело смысл говорить о каких-то "выборках" и о возможности на их основе давать хоть какие-то "оценки", нам нужно иметь, как минимум, допущение об
эргодичности наблюдаемого процесса. Если Вы понимаете, о чём я сейчас говорю.
Поэтому Ваши аргументы, что мы чего-то там посчитать не можем (точно) на основе наблюдаемой выборки - не имеют смысла. Ибо мы можем сделать точечные оценки и оценить доверительные интервал.
Ну-ну. Давайте как сюда Ваши "точечные оценки" и "доверительные интервалы" для приведённого ранее примера: 20 неизвестных нам символов повторяются 100500 раз (потому что это - орнамент).
Согласно формуле Шеннона наибольшую "плотность информации" (среднее количество информации на один символ) имеет белый шум. Белый шум можно получить, например, с АГСЧ, тогда он не будет содержать никакого смысла, а информации в нем будет максимальное количество.
Это один из возможных вариантов определения "смысла": Есть сообщение длиной в
символов, принадлежащих алфавиту из
символов. В предположении о том, что символы равновероятны и могут быть поставлены в любой позиции сообщения независимо от символов в других позициях, найти количество информации, которое может быть передано этим сообщением.
Ваши слова про "белый шум" в данном случае просто заменяют мои слова про "независимость".