Не имеет значения, откуда берётся распределение, из стат. оценок или из какой-то теории.
Да, ладно. Вы же совсем недавно утверждали, что распределение (которое в формулу Шеннона подставляется) нужно
знать.
Оно и есть информация о предметной области.
Это просто информация, а не "о предметной области". Всякие разные статистики и оценки частотных распределений ничего не говорят о предметной области.
Это только с позиции Ваших реально странных представлений.
С учетом Ваших странных представлений о реальности, даже не обидно
Дело не в конечной длительности.
Конечная длительность уже "убитает" эргодичность.
Вообще-то большинство файлов любой нормальный архиватор расширяет. Удивлены? Освежите свои знания об архиваторах.
Вообще-то в моей фразе подразумевалось, что архиватор обработает любой файл, и выдаст какой-то архив. А не вывалится с ошибкой "Кто вы такие, я вас не знаю". Сожалею, что неточность формулировки привела к неверному пониманию.
Ежели архиватор увеличит размер, то что? То у нас будет две оценки сверху, возьмем более строгую, делов-то.
А то, что это бессмысленные результаты.
Тут игра словами. Результаты бессмысленные в том смысле, что никаких смыслов мы и не измеряли.
А измеряли количество информации, а не смыслы.
Ежели статметодами (включая криптографию) удалось взломать, то есть определить хэш функцию и подсолку, то да, поток можем сильно ужать и информации там окажется сильно меньше, чем "прямым" применением формулы Шеннона. А ежели не удалось, то мечтать не вредно, а ширину канала для передачи этого потока нужно готовить по формуле Шеннона и теореме Котельникова
Так что возвращаемся к тому, с чего начали: Количество информации определяется приёмником, а именно, его знаниями о предметной области.
Не могу сказать, что это неверно, так как что-то подобное написано в ГОСТах
Но тут мы просто возвращаемся в начало дискуссии.
А попробуйте проделать это с ChatGPT. Я полагаю, что по первому же абзацу он Вам предскажет весь остальной текст.
А откуда ChatGPT узнает, что я передаю "Войну и мир"? А не что-то другое, где первый абзац "Войны и мира" используется как эпиграф.
В его модели реальности присутствует информация о тексте "Войны и мира". И в этом "смысл".
Вообще говоря, насколько "осмыслено" представление всяких чат-гпт о реальности - вопрос, конечно, интересный. Но это уход в сторону, в вопросы - что есть смысл, что есть знания, насколько для наличия смысла и-или знаний необходим субъект (не просто приемник, и именно субъект), и насколько субъектны нейросети.
Концепт информации, как он вводится в Теории информации тем и прекрасен, что никаких размышлений о смыслах, знаниях и субъектах не требует.
Точно так же, если Вы нашли достаточно длинный текст клинописью (которую не понимаете), но косвенные признаки позволяют Вам предположить что это - Эпос о Гильгамеше
, то глупо "статметодами" заниматься подсчётом частот отдельных символов и корреляций между ними, нужно сразу искать соответствующие слова на соответствующих местах, чтобы расшифровать эту клинопись.
Оценки "глупо или не глупо" - тут смысла не имеют. Ибо этот пример совершенно про другое, а именно про получение знаний и-или смыслов из текста клинописью. А это не является предметом Теории информации