Вот распределение вероятности в заданном пространстве событий - это и есть информация о соответствующих событиях.
Удивительная чушь - это заявление.
Распределение вероятностей мы не можем измерить, только оценить, и только, как Вы пишите, "в предположении об эргодичности процесса".
А это просто означает, что какой-либо "информации", которую хоть кто-то или что-то может принять\воспринять не существует. Говорю же, у Вас какие-то странные представления.
Мда. Придётся продолжить "намёк". Давайте-ка вспомним, в чём заключается допущение об эргодичности случайного процесса. Подсказка: Там фигурируют такие понятия, как "реализация случайного процесса", а также "усреднение по выборке (ака - по времени)" и "усреднение по реализациям".
да-да.
А ещё из этого следует, что статистика посчитанная со сдвигом по времени должна совпадать со статистикой, посчитанной без сдвига по времени. Что для сигналов с конечной длительностью, очевидно, не выполняется.
Разумеется это можно, если условиями задачи у нас определено, какие могут быть монетки (и с какой вероятностью, кстати), каковы вероятности выпадения монеток той или иной стороной, а также тот факт, что вероятности выпадений в разных бросках независимы. Это и есть вероятностная модель предметной области, определяющая "смысл" того, что мы рассматриваем. Как видите, у нас имеют место куча априорных допущений. Если они адекватны реальной ситуации, то нам повезло. Если нет, увы.
Если нет и увы, то статметоды тоже это покажут. При достаточном размере выборки, конечно.
И все эти априорные допущения - это всего лишь априорные допущения, а отнюдь не
смысл.
Смысл предполагает
субъекта. А априорные предположения - не предполагают.
Вообще-то зависит от архиватора.
Нуда, зависит. Но при современном уровне печатного дела - уже довольно слабо.
Это зависит от вероятностной модели предметной области. Она, кстати, может предполагать, что вероятность именно такого орнамента единичная (если строка вообще была). Так что правильный архиватор сожмёт эту строку в один бит (типа, была строка или нет).
"Правильный архиватор" сжимает любые файлы любой длины. Про детерминизм - ниже.
Вообще-то я привёл пример со строкой-орнаментом с прицелом на продолжение. И вот оно: Знаете, как устроены генераторы псевдослучайных чисел? Мы просто берём некие начальные данные и на каждом шаге применяем к ним некую хеш-функцию (например, MD5 или SHA-1). Получается последовательность чисел, которые как бы "независимы" друг от друга в том смысле, что по очередному числу вычислительными методами очень трудно предсказать, из какого числа оно получено. Но на самом деле последовательность - строго детерминированная, т.е. зная начальные данные и алгоритм, каждый n-ый член последовательности можно рассчитать. Так вот, предположим, что полученное Вами сообщение представляет собой достаточно длинный кусок последовательности таких псевдослучайных чисел. Попробуйте-ка теперь посчитать количество переданной в сообщении информации.
1. Ровно также и посчитаю. Через оценку вероятности символов через частоту их появления.
Да получится гораздо больше информации, чем содержалось в начальной "соли", и что?
2. Есть куча детерминированных процессов, которые легко и непринужденно рассматриваются, как случайные. И что? Это как-то запрещает такие подходы?
Предположим, я начал Вам передавать медленно и печально полный текст "Войны и мир" Толстого.
Где-то на 5-й странице Вы набрали статистику, и можете предугадывать с некоторой вероятностью следующий символ на основе десятка предыдущих.
Где-то на 50-й странице Вы обнаружили, что наборы символов существенно различаются в разных кусках текста, и стали предугадывать, опять же с некоторой вероятностью, следующий символ ещё лучше.
Где-то на 200-й странице Вы обнаружили и формализовали грамматические закономерности (причем разные для двух разных видов кусков текста) и научились с какой-то вероятностью предугадывать сразу 3-7 символов по 30-70 предыдущих.
И что? Вы поняли какой-то смысл в этом наборе символов? Нет.
Другой крайний случай. Я говорю - сейчас передам Вам медленно и печально "Войну и мир". Вы говорите - не надо, у меня уже есть. Тут
а) Слова ""Война и мир" Толстого" для Вас имеют смысл.
б) Нуда, весь следующий довольно большой набор символов оказался полностью детерминирован.
И что? Это как-то запретило первый подход?