А можно до полубита, например, если информационная энтропия источника — эти полбита.
Вам виднее, конечно, я в этих дебрях почти ничего не понимаю. :) Но разве можно сжать сообщение размером в 1 бит без потерь?.. Если этот 1 бит передаётся в гордом одиночестве, а не с собратьями?..
Ясно, что когда мы за один раз передаём сообщение длиной много бит, то можем предварительно посчитать, какие последовательности в сообщении встречаются чаще всего, и закодировать их наиболее короткими сочетаниями нулей и единиц. (Самый простой метод сжатия информации.) В результате такой архивации получится более короткое сообщение. И тогда можно образно сказать, что каждый бит в нём был сжат на столько-то процентов. :)
А вот что делать, если передать можно только сообщение длиной 1 бит? Скажем, сигнальный костёр либо горит, либо нет? Не представляю, как можно в этом случае сжать информацию.
Вы говорите о сжатии до полубита — это как? Проверять сообщения от источника через раз? В половине случаев проверяем, а в половине — довольствуемся своими предположениями?.. :) Но тогда получается, в каком-то проценте случаев мы будем ошибаться?.. Тогда это уже нельзя назвать сжатием без потерь, а я специально упомянул это условие в предыдущем посте.
Это не так работает. Можно и бит сжать до нуля, если мы знаем, что он выдан источником, который всегда выдаёт единицы.
Интересное возражение. :) Но мы ведь должны ещё убедиться, что он выдал эту самую единицу. А вдруг он безмолвствует? Нужно сначала получить от него письмо, чтобы не читая с уверенностью сказать, что внутри единица. Проверить почтовый ящик и увидеть там сообщение. А это сообщение как раз и будет иметь длину 1 бит. Меньше переслать без потерь просто невозможно (по крайней мере, я всегда так думал).
Можно, конечно, сделать такой источник, который всегда выдаёт единицы через равные промежутки времени. И тогда его поведение кажется полностью предсказуемым. Взглянув на часы в определённый момент, можно точно сказать, что поделывает наш источник. Вообще не глядя в почтовый ящик. :) Но это лишь видимость. А вдруг там придёт уборщица и шваброй выдернет вилку из розетки? От источника перестанут поступать сигналы, а мы и знать ничего не будем.
Можно также сделать источник, который выдаёт информацию только по нашему запросу, и всегда только единицы. Тогда, нажав на кнопочку с закрытыми глазами, мы точно будем знать, что источник выдал информацию, на экране загорелась цифра, и это цифра 1. Но и тут нет абсолютных гарантий. А вдруг какие-нибудь шутники взломали устройство и переделали его так, чтобы оно выдавало только нули? :) Исключительно чтобы поставить нас в глупое положение. Опять же, фактор уборщицы тоже нельзя исключать. Может случиться так, что после нажатия на кнопочку экран останется тёмным, потому что вилка выдернута из розетки.
Таким образом, для чистоты эксперимента нам нужен неуничтожимый, принципиально не взламываемый источник данных, который имеет внутри компактный вечный двигатель и не зависит от внешних источников энергии. :) Но это противоречит законам физики, а значит, невозможно в нашей Вселенной. :)
08.03.2013, 13:07 
и 
.
Одновременно не определяемые понятия: материя и информация. Как импульс и координата.
