Цветные лучи, спутники, биты и информация

[Dmitriy40]

EUgeneUS в сообщении #1285187 писал(а):

Даже на интуитивном уровне получается, что такой файл содержит меньше информации, чем его размер.

Меньше. Но если бы этот файл был из произвольных символов (предположим Алиса заполнила мегабайт данных белым шумом), то его уже не сжать и информации станет что, мегабайт?
Меня смущает необъективность измерения количества информации в таком случае. Мегабайт - объективно и измеримо. Меньше - не измеримо (в том смысле что зависит от предположения, например о неравных вероятностях) и не объективно. Как известно любой объём информации можно сжать в один бит - сигнал что надо её распаковать из внутренностей архиватора. Это бесполезный практически параметр становится. Точнее полезный лишь для архиваторов и вообще методов сжатия данных.
Наверное меня больше устраивает вопрос сколько битов надо для хранения информации заданного объёма (выбора одного варианта из множества возможных с известными вероятностями). И тут надеюсь ответ один и фиксирован.
Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

[realeugene]

Dmitriy40 в сообщении #1285256 писал(а):

Наверное меня больше устраивает вопрос сколько битов надо для хранения информации заданного объёма (выбора одного варианта из множества возможных с известными вероятностями). И тут надеюсь ответ один и фиксирован.

Собственно, это и есть определение количества информации в символе из ансамбля символов. Но дальше можно рассматривать цепочки символов, и передачу этих цепочек символов через каналы связи с шумом. Отсюда получается знаменитая теорема Шеннона про пропускную способность канала связи и методы коррекции ошибок.

Dmitriy40 в сообщении #1285256 писал(а):

Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

Это тоже верно. Без распределений вероятностей про количество информации говорить нельзя.

[EUgeneUS]

Dmitriy40 в сообщении #1285256 писал(а):

Как известно любой объём информации можно сжать в один бит - сигнал что надо её распаковать из внутренностей архиватора.

Это не так. Архиватор должен работать с любыми файлами. Пусть он работает с любыми файлами размера $N$ бит и ставит каждому из них в соответствие какой-то файл меньшего размера. Количество файлов размера $N$ бит - $2^N$, количество файлов меньшего размера - $2^N-1$. То есть найдется тот, который не стрелял как минимум один файл, который не сожмется. Даже если все файлы размера $N$ бит находятся "во внутренностях архиватора". Необходимость работы с файлами любого размера только ухудшает ситуацию.

realeugene в сообщении #1285265 писал(а):

Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

Это недоопределенный вопрос, но отнюдь не бессмысленный.