Распределение вероятностей мы не можем измерить, только оценить, и только, как Вы пишите, "в предположении об эргодичности процесса".
А это просто означает, что какой-либо "информации", которую хоть кто-то или что-то может принять\воспринять не существует.
Не имеет значения, откуда берётся распределение, из стат. оценок или из какой-то теории. Оно и есть информация о предметной области. "Монета равновероятно может выпасть орлом или решкой" - это информация о выпадении монеты (априорная). "Монета выпала орлом" - это другая информация о выпадении монеты (апостериорная).
Говорю же, у Вас какие-то странные представления.
Это только с позиции Ваших реально странных представлений.
А ещё из этого следует, что статистика посчитанная со сдвигом по времени должна совпадать со статистикой, посчитанной без сдвига по времени. Что для сигналов с конечной длительностью, очевидно, не выполняется.
Дело не в конечной длительности. Понятно, что длительность реальной выборки будет конечна. А дело в том, чтобы длительность была достаточной для того, чтобы усреднение по ней примерно соответствовало усреднению по реализациям. Если нет, то никакие оценки по выборке не скажут Вам ничего разумного о реальных параметрах процесса.
Если нет и увы, то статметоды тоже это покажут. При достаточном размере выборки, конечно.
Статметоды ничего подобного не покажут. Если они основаны на неверных априорных предположениях, то просто тупо дадут неверные оценки, о чём Вы даже не узнаете.
"Правильный архиватор" сжимает любые файлы любой длины.
Вообще-то большинство файлов любой нормальный архиватор расширяет. Удивлены? Освежите свои знания об архиваторах.
1. Ровно также и посчитаю. Через оценку вероятности символов через частоту их появления.
Да получится гораздо больше информации, чем содержалось в начальной "соли", и что?
А то, что это бессмысленные результаты. Любой статметод Вам скажет, что это - белый шум, никаких закономерностей нет. Однако это только потому что Вы не знали алгоритм (хеш-функцию). Стоит Вам узнать хеш-функцию, как Вы предскажете любое число последовательности по первому. Так что возвращаемся к тому, с чего начали: Количество информации определяется приёмником, а именно, его знаниями о предметной области.
Предположим, я начал Вам передавать медленно и печально полный текст "Войны и мир" Толстого.
А попробуйте проделать это с ChatGPT. Я полагаю, что по первому же абзацу он Вам предскажет весь остальной текст. Почему же он не начал использовать первый подход? Ответ прост: В его модели реальности присутствует информация о тексте "Войны и мира". И в этом "смысл".
Точно так же, если Вы нашли достаточно длинный текст клинописью (которую не понимаете), но косвенные признаки позволяют Вам предположить что это -
Эпос о Гильгамеше, то глупо "статметодами" заниматься подсчётом частот отдельных символов и корреляций между ними, нужно сразу искать соответствующие слова на соответствующих местах, чтобы расшифровать эту клинопись.