Цветные лучи, спутники, биты и информация

[EUgeneUS]

realeugene в сообщении #1285065 писал(а):

"В файле" - достаточно.

ИМХО, передергиваете.
Информация, которая содержится в символе, определяется из вероятности его появления.
Не вижу никаких причин не рассматривать "файл размером 1 Мб, достоверно состоящий из символов "а"", как другой символ.
Тогда информация, которая содержится в нем, будет определяться вероятностью его появления.

[realeugene]

EUgeneUS в сообщении #1285068 писал(а):

Тогда информация, которая содержится в нем, будет определяться вероятностью его появления.

И какова же, по-вашему, вероятность появления такого файла, если Алиса передаёт только такие файлы?

[EUgeneUS]

realeugene в сообщении #1285078 писал(а):

И какова же, по-вашему, вероятность появления такого файла, если Алиса передаёт только такие файлы?

Неизвестна.
Из фразы "Алиса передаёт только такие файлы" нам ничего неизвестно о вероятности факта передачи файла.

[realeugene]

EUgeneUS в сообщении #1285082 писал(а):

Из фразы "Алиса передаёт только такие файлы" нам ничего неизвестно о вероятности факта передачи файла.

Что такое "факт передачи файла"? Позвольте, я немного попридираюсь.

[EUgeneUS]

realeugene в сообщении #1285085 писал(а):

Что такое "факт передачи файла"?

Фиксация Бобом начала передачи файла от Алисы.

[realeugene]

EUgeneUS в сообщении #1285106 писал(а):

Фиксация Бобом начала передачи файла от Алисы.

Она несёт какую-то информацию про Алису? Каким образом?
Я продолжаю придираться.

[EUgeneUS]

realeugene
Если Боб не знает достоверно точного времени начала передачи нового файла, а также, если Боб не знает достоверно будет ли передача следующего файла, или не будет - то несет, конечно. По сути "передача файла размером 1Мб, состоящего из символов "а"" играет роль несущей. А периоды между передачей файла - модуляции, которая может содержать не ноль информации.

-- 17.01.2018, 18:00 --

realeugene в сообщении #1285108 писал(а):

Я продолжаю придираться.

Это очевидно, и не несет информации

[realeugene]

EUgeneUS в сообщении #1285115 писал(а):

Если Боб не знает достоверно точного времени начала передачи нового файла, а также, если Боб не знает достоверно будет ли передача следующего файла, или не будет - то несет, конечно. По сути "передача файла размером 1Мб, состоящего из символов "а"" играет роль несущей. А периоды между передачей файла - модуляции, которая может содержать не ноль информации.

Хорошо, закончу придираться.
Вы утверждаете, что, получив стандартный файл, состоящий из одних букв "а", Боб, возможно, получил в результате приёма такого файла некоторую положительную информацию про Алису. Не спорю.
Но событие получения подобного файла можно разбить на два события: фиксации Бобом начала передачи файла, и приём содержимого файла. Стандартным образом, как и при анализе строк, взаимная информация, которую Боб получил с этим файлам, равна взаимной информации, которую боб получил с фактом приёма файла, плюс условной взаимной информации, которую Боб получил с содержимым файла, при условии факта приёма файла. Второе слагаемое равно нулю для рассматриваемых файлов, но только про него можно сказать, что это "информация в файле". Всё остальное - это какая-то метаинформация, которая хоть и связана с файлом, но не с его содержимым.

[EUgeneUS]

realeugene в сообщении #1285121 писал(а):

Второе слагаемое равно нулю для рассматриваемых файлов,

Да.

realeugene в сообщении #1285121 писал(а):

но только про него можно сказать, что это "информация в файле".

С чего бы? Прошу пояснить.
Вернемся на несколько шагов назад. Алиса шлет Бобу некоторый поток символов из известного обоим алфавита. Каждый символ посылается в известное время, но вероятности символов меньше единицы. С каждым символом Боб получает от Алисы какую-то информацию, величина которой определяется вероятностью симовола. Вопрос: эта информация содержится в символе или нет?
Если можно сказать, что информация содержится в символе, то тоже самое мы говорим про информацию, содержащуюся в нашем файле.

[realeugene]

EUgeneUS в сообщении #1285124 писал(а):

Вопрос: эта информация содержится в символе или нет?

Эта информация связана с символом, который содержится в файле.

EUgeneUS в сообщении #1285124 писал(а):

Если можно сказать, что информация содержится в символе

На мой взгляд, так сказать нельзя. Хотя бы потому, что для разных приёмников один и тот же символ может нести различное количество информации.

[EUgeneUS]

realeugene в сообщении #1285125 писал(а):

Эта информация связана с символом, который содержится в файле.

В этом примере нет файла, а есть поток символов, который никогда не заканчивается.

realeugene в сообщении #1285125 писал(а):

На мой взгляд, так сказать нельзя.

ИМХО, с этого места спор пойдет о смысле фраз "содержится в" и "связан с". То есть о смысле бытовых понятий, а значит предмет спора исчерпан.

[realeugene]

EUgeneUS в сообщении #1285129 писал(а):

То есть о смысле бытовых понятий, а значит предмет спора исчерпан.

Не возражаю.

[Dmitriy40]

EUgeneUS в сообщении #1284971 писал(а):

Пусть Алиса создала файл размером 1 Мб, состоящий из одних символов "а" и отправила его Бобу. Боб его получил без ошибок.
Сколько информации получил Боб? Попробуйте ответить на этот вопрос.

Вы правы, первое неверное рассуждение и будет моим ответом.
Наверное потому что я ближе к технарю, чем к теории (даже информации), и если уж получил файл, то получил все биты в нём, информация же измеряется именно в битах, значит сколько битов, столько и информации. Вопроса кодирования информации (или скорее знаний) в битах не рассматривается, потому и такой ответ. Если спросить сколько информации в смысле знаний в этом мегабайте - то ответ "неизвестно", зависит от дополнительных предположений, вероятностей, распределений, etc.
Иначе непонятно как работать с компьютерными (и вообще цифровыми) вещами, там ведь везде биты, а не вероятности сколько в этих битах информации. Ну не везде, это я махнул не глядя, но на физическом уровне, где ходят лишь биты, а не пакеты, это так. Смысл битов в пакетах - дело более высокого уровня.
Почему ещё считаю что ответ 1МБ информации правильным: Боб не знает заранее какие символы будут внутри файла, потому вынужден приписать всем возможным состояниям равные вероятности, что по формуле сразу даёт объём информации ровно мегабайт. Где здесь учтён размер файла (что он мог быть и другого размера) я не понимаю, брать интеграл от вероятности любого натурального числа мне страшно (хоть он и равен 1 по определению), но вероятность принятия файла именно такого размера получится ноль (в пределе). Куда этот ноль засунуть в формулу не знаю.
Обсуждение далее читал, повторять не надо, но (как технарь) не понимаю всю эту тавтологию с разной информацией. Биты пришли - информация в них тоже, ровно столько же. Остальное - дело архиваторов, кодировщиков, баз знаний и прочего.
Это я не спорю, лишь отвечаю на Ваш вопрос мне.

-- 17.01.2018, 19:59 --

Про спутники простите не было ещё времени обдумать. Хочу попробовать добавить состояний второму спутнику и описать всё в понятиях вероятности состояний. Возможно в процессе и сам разберусь.

[realeugene]

Dmitriy40 в сообщении #1285175 писал(а):

Остальное - дело архиваторов, кодировщиков

Думаете, архиваторы и кодировщики не технари клепают?

Бытовые представления об информации, конечно, тоже можно использовать, не забывая, что они могут быть внутренне противоречивы, и что не нужно их использовать для философствования о природе информации.

Противоречие с битами в компьютере исчезнет, если считать, что каждый триггер хранит не 1 бит информации, но он может хранить максимум 1 бит информации в среднем, т. е. это его максимальная информационная ёмкость, которая, также, выражается в битах. Тогда максимальная ёмкость $N$ триггеров равна $N$ бит информации.

[EUgeneUS]

Dmitriy40
Как справедливо отметил уважаемый realeugene, такой файл можно сжать, а потом разжать, то есть восстановить в точности.
Даже на интуитивном уровне получается, что такой файл содержит меньше информации, чем его размер.