2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3
 
 Re: Цветные лучи, спутники, биты и информация
Сообщение17.01.2018, 23:26 
Заслуженный участник


20/08/14
11070
Россия, Москва
EUgeneUS в сообщении #1285187 писал(а):
Даже на интуитивном уровне получается, что такой файл содержит меньше информации, чем его размер.
Меньше. Но если бы этот файл был из произвольных символов (предположим Алиса заполнила мегабайт данных белым шумом), то его уже не сжать и информации станет что, мегабайт?
Меня смущает необъективность измерения количества информации в таком случае. Мегабайт - объективно и измеримо. Меньше - не измеримо (в том смысле что зависит от предположения, например о неравных вероятностях) и не объективно. Как известно любой объём информации можно сжать в один бит - сигнал что надо её распаковать из внутренностей архиватора. Это бесполезный практически параметр становится. Точнее полезный лишь для архиваторов и вообще методов сжатия данных.
Наверное меня больше устраивает вопрос сколько битов надо для хранения информации заданного объёма (выбора одного варианта из множества возможных с известными вероятностями). И тут надеюсь ответ один и фиксирован.
Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

 Профиль  
                  
 
 Re: Цветные лучи, спутники, биты и информация
Сообщение18.01.2018, 00:25 


27/08/16
9426
Dmitriy40 в сообщении #1285256 писал(а):
Наверное меня больше устраивает вопрос сколько битов надо для хранения информации заданного объёма (выбора одного варианта из множества возможных с известными вероятностями). И тут надеюсь ответ один и фиксирован.
Собственно, это и есть определение количества информации в символе из ансамбля символов. Но дальше можно рассматривать цепочки символов, и передачу этих цепочек символов через каналы связи с шумом. Отсюда получается знаменитая теорема Шеннона про пропускную способность канала связи и методы коррекции ошибок.

Dmitriy40 в сообщении #1285256 писал(а):
Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

Это тоже верно. Без распределений вероятностей про количество информации говорить нельзя.

 Профиль  
                  
 
 Re: Цветные лучи, спутники, биты и информация
Сообщение18.01.2018, 07:04 
Аватара пользователя


11/12/16
13195
уездный город Н
Dmitriy40 в сообщении #1285256 писал(а):
Как известно любой объём информации можно сжать в один бит - сигнал что надо её распаковать из внутренностей архиватора.


Это не так. Архиватор должен работать с любыми файлами. Пусть он работает с любыми файлами размера $N$ бит и ставит каждому из них в соответствие какой-то файл меньшего размера. Количество файлов размера $N$ бит - $2^N$, количество файлов меньшего размера - $2^N-1$. То есть найдется тот, который не стрелял как минимум один файл, который не сожмется. Даже если все файлы размера $N$ бит находятся "во внутренностях архиватора". Необходимость работы с файлами любого размера только ухудшает ситуацию.

realeugene в сообщении #1285265 писал(а):
Обратный вопрос, сколько информации в заданном количестве битов - считаю бессмысленным или недоопределённым.

Это недоопределенный вопрос, но отнюдь не бессмысленный.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 33 ]  На страницу Пред.  1, 2, 3

Модераторы: photon, whiterussian, profrotter, Jnrty, Aer, Парджеттер, Eule_A, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group