Цветные лучи, спутники, биты и информация

[Dmitriy40]

realeugene
Давайте всё же разберёмся с битами, лучами и спутниками.
Постулат: космос чист и цвет лучей не искажает (настолько чтобы красные и синие лучи путались в приёмнике).
Априорное знание: из центра посылаем одновременно два цветных луча на два спутника, после излучения передатчиком лучи причинно не связаны.
Априорное знание: спутникам всегда посылаются лучи разного цвета.
Кодировка: цвет луча (красный/синий) кодирует один бит информации.
Да, это другая система чем описанная Вами - но я говорил именно про такую, а не про каналы с ошибками и вероятностными передатчиками. И Вы в своём первом сообщении про спутники тоже описывали эту систему, а не каналы с шумом.

Запускаем систему. Произвольно выбираем послать первому спутнику синий луч, а второму соответственно красный. И посылаем их, одновременно, как "по условию".
Через некоторое время первый спутник принимает синий луч и получает таким образом один бит информации. Без искажений, шумов, вероятностей и прочего, ровно один бит.

Теперь вопрос какую именно информацию получил первый спутник в объёме одного бита. А вот это неизвестно, т.к. условиями не оговорено что означает состояние этого бита 0 или 1.
А что же известно? Известно что второму спутнику был отправлен красный луч (причём лишь "априорно по условию задачи").
Всё, точка, в данной системе больше ничего о судьбе красного луча и второго спутника первому достоверно неизвестно.
(Аналогично для второго спутника, он ничего не знает о первом.
А центр вообще не знает ничего об обоих спутниках, он информацию (на носителе цветном луче) обоим отправил, больше ни о её судьбе, ни о факте её приёма не знает. Единственное что он знает - какому спутнику какой бит (0 или 1) отправил.)

Но, первый сптуник может предположить, что
1) если красный луч дошёл до второго спутника;
2) если второй спутник на месте и принял этот луч;
3-100500) если ещё куча предположений окажутся верными,
то моменты принятия лучей спутниками одновременны и второй спутник принял именно красный луч.
Но никакой реальной информации, не основанной на произвольных предположениях, первый спутник о втором не имеет и не получил с приходом к нему синего луча и одного бита информации.

Откуда и куда передавалась информация в системе и сколько её было? Только лишь от центра (излучателя) к каждому спутнику в отдельности. Каждому из них был передан один бит (на эти два бита наложено условие корреляции "по условию задачи"). Между спутниками никакой передачи информации не было. Спутники каждый в отдельности имеют информацию только из центра. Хотя центром было передано два бита, и оба они были получены обоими спутниками, но информации в системе в целом всего один бит (как было в момент излучения центром, так и осталось после приёма спутниками) - т.к. всего два возможных состояния системы. И при этом у каждого из спутников по биту ... зато скоррелированному, о чём им известно.
Какова пространственная скорость передачи информации в системе? Равна скорости лучей синего (к первому спутнику) и красного (ко второму). Между спутниками передачи информации не было и скорость таковой передачи неизвестна (хотя её и можно предположить).

Что в этом описании не соответствует теории информации?

[realeugene]

Dmitriy40 в сообщении #1284811 писал(а):

Теперь вопрос какую именно информацию получил первый спутник в объёме одного бита.

Каждый спутник получил 1 бит информации относительно цвета луча, принятого другим спутником. Подчеркну, задать условие равновероятности вариантов излучаемых лучей необходимо, чтобы это был ровно 1 бит. Если цвет не равновероятен, то информации будет меньше 1 бита.

Dmitriy40 в сообщении #1284811 писал(а):

Всё, точка, в данной системе больше ничего о судьбе красного луча и второго спутника первому достоверно неизвестно.

Вы не написали ещё одно условие: что луч, посланный в сторону спутника, будет обязательно принят этим спутником. Если это не так, то нужно пространство событий пополнить событиями, что какой-то спутник (или оба) не получит свой луч, нужно задать вероятности этих событий и нужно, соответствующим образом, скорректировать расчёт взаимной информации.

Dmitriy40 в сообщении #1284811 писал(а):

А центр вообще не знает ничего об обоих спутниках, он информацию (на носителе цветном луче) обоим отправил, больше ни о её судьбе, ни о факте её приёма не знает.

Что знает или не знает центр совершенно не важно, так как, формализуя задачу, мы задаём вероятностное пространство событий, и центра в этих событиях больше нет.

Dmitriy40 в сообщении #1284811 писал(а):

Но, первый спутник может предположить, что

Каждый спутник может что-либо предполагать исключительно исходя из условий задачи, которые вы написали в начале. Да, если вы играете в орлянку и бросаете монетку, монетка может стать на ребро или зависнуть в воздухе, но, формализуя эту задачу, вы оставляете ей ровно два варианта. Как вы эту задачу формализуете - так её и считать нужно.

Dmitriy40 в сообщении #1284811 писал(а):

Но никакой реальной информации

Я не знаю, что такое "реальная информация". Я ранее не встречал определение этого термина. Напишите его, пожалуйста.

Dmitriy40 в сообщении #1284811 писал(а):

Откуда и куда передавалась информация в системе и сколько её было?

Каждый спутник получил 1 бит информации относительно события приёма сигнала другим спутником. Спутники друг другу эту информацию не передавали. Ещё можно рассматривать взаимную информацию между событиями приёма сигнала спутниками и излучённым базой битом. База генерирует 1 случайный бит с равновероятными значениями и передаёт каждому спутнику ровно 1 бит информации об этом сгенерированном бите.

Dmitriy40 в сообщении #1284811 писал(а):

И при этом у каждого из спутников по биту ... зато скоррелированному, о чём им известно.

Если два случайных бита 100% коррелированы, то их совместно энтропия равна только 1 биту.

Dmitriy40 в сообщении #1284811 писал(а):

Какова пространственная скорость передачи информации в системе?

Это понятие бессмысленное. Понятие передачи информации осмысленно только при наличии передатчика и приёмника. В промежуточном пространстве нет приёмников, и, соответственно информации. В пространстве летит только физический объект - сигнал. Но о том, что этот сигнал перенёс какую-то информацию, можно будет рассуждать только после того, как этот сигнал будет принят, декодирован, и когда состояние приёмника примет новое дискретное значение, коррелирующее с состоянием передатчика в момент передачи этого сигнала.

[Dmitriy40]

realeugene в сообщении #1284834 писал(а):

Каждый спутник получил 1 бит информации относительно цвета луча, принятого другим спутником.

Вот тут нет, каждый спутник получил именно один бит информации без всяких оговорок. Давайте даже проще: каждый спутник устанавливает RS триггер в одно из двух положений по приходу луча. Начальное состояние триггера неважно, одновременная подача двух управляющих сигналов на триггер исключена условием. Триггер не может хранить нецелое число битов.
После прихода луча триггер будет в одном из двух состояний, или 0 или 1, без всяких вероятностей и вне зависимости от другого спутника и триггера там. Да, они будут скоррелированы, но информацией из центра, а не от второго спутника!

realeugene в сообщении #1284834 писал(а):

Вы не написали ещё одно условие: что луч, посланный в сторону спутника, будет обязательно принят этим спутником.

Согласен, упустил. Будет принят, будет.

realeugene в сообщении #1284834 писал(а):

формализуя задачу, мы задаём вероятностное пространство событий,

Только, секундочку, абсолютно все события в системе имеют вероятность или 0 или 1, никаких промежуточных нет. По условию нет.

realeugene в сообщении #1284834 писал(а):

Я не знаю, что такое "реальная информация". Я ранее не встречал определение этого термина. Напишите его, пожалуйста.

Я это пояснил прямо сразу там же, через запятую: "не основанной на произвольных предположениях". Да, не формально, но вроде понятно.

realeugene в сообщении #1284834 писал(а):

Каждый спутник получил 1 бит информации относительно события приёма сигнала другим спутником.

Да почему относительно-то?! Он свой триггер выставил в новое состояние - и оно описывается ровно одним битом (т.к. возможных состояний у триггера после прихода любого луча ровно два). Без нецелых вероятностей и без других спутников. Триггер и его состояние абсолютно, от другого спутника никак не зависит. Откуда снова относительно?!

realeugene в сообщении #1284834 писал(а):

Если два случайных бита 100% коррелированы, то их совместно энтропия равна только 1 биту.

Я так и сказал, что в системе всего суммарно один бит. Не потому что они случайные, а потому что возможных состояний системы всего два - а значит бит один.

Про скорость вопрос не основной, он был для предыдущей темы.

-- 17.01.2018, 00:04 --

Нашёл одно место где вероятность не равна ни 0 ни 1: т.к. спутник не знает заранее цвет прилетевшего к нему луча, то для него вероятность обоих вариантов как раз ровно $0{,}5$. Но только до момента прихода луча, после него вероятность одного цвета 0, другого цвета 1. Но и тут не вижу никакой зависимости от состояния второго спутника, лишь от пришедшего на данный спутник луча. Корреляцию обеспечивает центр выбором цветов лучей (и это прописано в условиях), потому корреляция есть, а зависимости таки нет.

[Geen]

Dmitriy40 в сообщении #1284842 писал(а):

абсолютно все события в системе имеют вероятность или 0 или 1

Тогда никакой передачи информации не может быть в принципе...

-- 17.01.2018, 00:07 --

Dmitriy40 в сообщении #1284842 писал(а):

Но только до момента прихода луча, после него вероятность одного цвета 0, другого цвета 1

Это вероятность чего??

[Dmitriy40]

Geen
Я уже поправился, была неточность.

Geen в сообщении #1284844 писал(а):

Это вероятность чего??

Вероятность прихода луча заданного цвета (одного и второго). Или вероятность обнаружения в триггере состояния "вкл" или "выкл" после прихода луча.

[realeugene]

Dmitriy40 в сообщении #1284842 писал(а):

каждый спутник получил именно один бит информации без всяких оговорок.

Не бывает "информации вообще" без оговорок. Оговорки обязательны. Одних определений информации (связанных друг с другом) в теории передачи информации несколько различных штук.

Dmitriy40 в сообщении #1284842 писал(а):

Да, они будут скоррелированы, но информацией из центра, а не от второго спутника!

Это не имеет значения. Если они оказываются скоррелированы, средняя взаимная информация между этими событиями положительна.

Dmitriy40 в сообщении #1284842 писал(а):

Да почему относительно-то

Потому что мера передаваемой информации - это взаимная информация. Бывает ещё количество собственной информации в событии, которое, по определению, $I(x_k):= -\log_2 P(x_k)$. Матожидание собственной информации есть средняя собственная информация или (информационная) энтропия. Собственная информация в событиях связана с взаимной информацией между этими событиями неравенствами: взаимная информация не может превышать собственную информацию каждого события. Так что, если хотя бы одно событие детерминированно (имеет вероятность 1), то взаимная информация между этим событием и любым другим событием равна нулю. То есть, из наступления этого события никаких полезных выводов о каких-либо других событиях сделать нельзя.

[Dmitriy40]

Подождите.
Вот есть триггер, он имеет два устойчивых состояния, мы в любой момент времени можем узнать в каком он состоянии без разрушения этого состояния.
До прихода луча мы не знаем в каком состоянии он окажется после прихода луча, т.е. вероятность потом обнаружить каждое из двух ровно по $0{,}5$.
После прихода (любого) луча вероятность обнаружить одно из двух состояний ровно $1$, вероятность обнаружить второе состояние ровно $0$.
Где здесь относительность/взаимность информации? Триггер вот он, на него посмотреть можно, и после прихода луча мы точно знаем в каком он состоянии и какой луч пришёл и что за бит нам послал центр.
Передача информации от центра нам есть? Как бы да, есть, луч пришёл, триггер переключился в состояние по лучу. Каким боком тут порылся второй луч/спутник?!
И ещё как в триггер попало не ровно один бит? Ведь у него всего лишь ровно два возможных состояния, значит бит ровно один. Лампочка или горит, или не горит, третьего не дано.

-- 17.01.2018, 00:52 --

Наверное зря я взял слишком простую систему, тут не видно есть корреляция или причинная связь, надо было добавить ещё состояний второму спутнику, тогда бы бит до первого дошёл, но информации о втором было бы меньше и стало бы видно что это именно корреляция, а не передача информации о состоянии второго спутника первому.
Но сначала надо с триггером и битом в нём разобраться.

[realeugene]

Да потому что информация в теории передачи информации определена немного не так, как вам кажется. Зато, эти определения работают, так как для них сформулирован ряд полезных теорем.

Если у вас есть триггер, поведение которого полностью детерминировано, и на вход подаются известные вам управляющие сигналы, то никакой информации этот триггер для вас не хранит. Вообще. Нуль. Информация, неформально - это мера вашей неопределённости. Если всё полностью детерминировано, то никакой неопределённости нет, и информации тоже нет. Посмотрев на диаграммы входных сигналов триггера вы можете сказать, в каком состоянии находится триггер в каждый момент времени. Вам не нужно смотреть на выход этого триггера чтобы сказать, в каком он состоянии. Вы вообще можете выкусить этот триггер и рассказывать, каким было бы состояние его выхода этого триггера, если бы он был запаян.

Другое дело, когда триггер может находиться в одном из двух своих состояний с каким-то распределением вероятностей. Вы не знаете текущее состояние триггера (он защёлкнул пришедший случайный сигнал). Чтобы узнать состояние этого триггера, вы должны получить об этом триггере некоторое количество информации. Посмотрев на его выход осциллографом. При этом, если вы ничего не знаете о состоянии триггера (его состояния для вас равновероятны), то вам нужно получить максимум 1 бит информации о состоянии этого триггера, чтобы определить его текущее состояние однозначны. А если вы уже что-то знаете, например, что вероятность его нахождения в нуле равна 0.9, а в единице - 0.1, то для полного определения состояния триггера вам требуется получить об этом триггере в среднем только 0.47 бита информации. Это значит, что если независимые измерения состояния этого триггера с таким распределением вероятностей состояний вы запишете в файл в виде цепочки из нулей и единиц, а потом сожмёте его без потерь подходящим качественным архиватором, то в вашем сжатом файле будет приходиться только 0.47 бита из его размера на каждое записанное измерение состояния вашего триггера с несимметричным распределением вероятностей. А при наличии корреляций между отдельными измерениями - ещё меньше. Пропустив же этот сжатый файл через разархиватор, вы получаете полностью восстановленную исходную последовательность, длина которой в битах равна числу проведённых измерений.

В общем, наверное, вам стоит почитать какие-нибудь учебники. Например, Р. Фано, "Передача информации, статистическая теория связи", М., Мир, 1965. В ней, кстати, приведено и аксиоматическое определение информации на основании "естественных" её свойств, приводящее в результате к тем же на первый взгляд "странным" определениям, о которых я написал выше.

[Dmitriy40]

Да, я уже кажется и сам понял что проблема в переносе терминов в другую область.
Что инфорамция измеряется в битах, но получив ровно один бит мы можем записать его в файл, но не можем сказать сколько в нём информации. А по формулам вообще ноль информации получается. Биты есть, а информации нет. Мрак, какая-то тавтология, получили брусок 1кг, можем положить его на полку, но сколько в нём кг не знаем.
Ладно, я ещё подумаю, может смогу корректнее переформулировать задачу, ну и если не разберусь, то вернусь. Что-то мне брезжится подобный спор у нас уже был, и тоже про информацию.

[EUgeneUS]

Dmitriy40

Пусть Алиса создала файл размером 1 Мб, состоящий из одних символов "а" и отправила его Бобу. Боб его получил без ошибок.
Сколько информации получил Боб? Попробуйте ответить на этот вопрос.
Или хотя бы почему рассуждения ниже неверные (их результат кажется неверным даже с точки зрения здравого смысла).

(пример неверного рассуждения)

1. Информация измеряется в битах или байтах
2. Был отправлен файл размером 1 Мб
3. Значит было отправлено Алисой и получено Бобом 1 Мб информации

(пример другого неверного рассуждения)

1. Оценим вероятность появления символа "а" в файле. Так как файл состоит только из них, оценка вероятности - 1.
2. Тогда каждый символ в файле содержит ноль информации,
3. А значит и весь файл содержит ноль информации.

[realeugene]

Вот ответ "весь файл содержит ноль информации" как раз может быть правильным.

[EUgeneUS]

realeugene в сообщении #1284997 писал(а):

Вот ответ "весь файл содержит ноль информации" как раз может быть правильным.

При некоторых знаниях\предположениях об Алисе, которые уже не будут так уж прямо соответствовать здравому смыслу

[realeugene]

EUgeneUS в сообщении #1285036 писал(а):

При некоторых знаниях\предположениях об Алисе, которые уже не будут так уж прямо соответствовать здравому смыслу

Предположение о том, что Алиса посылает Бобу только файлы размером 1 Мб, состоящие из одних букв "a", вполне реалистично.
Без доопределения вашей задачи единственное, что можно сказать - это что Боб получает неотрицательное количество информации о действиях Алисы.

[EUgeneUS]

realeugene
Насколько эти предположения реалистичны или не реалистичны, также насколько такие представления об Алисе соответствуют здравому смыслу - это всё оценочные суждения. Предмета для спора тут нет. Вы представляете Алису одним образом, я - другим.

А вот вывод того, какие именно предположения мы должны сделать, чтобы в этом файле было ноль информации, планировал оставить ТС.
Ну, да ладно.

Кроме того, этого:

realeugene в сообщении #1285047 писал(а):

Алиса посылает Бобу только файлы размером 1 Мб, состоящие из одних букв "a",

Недостаточно, чтобы в файле содержалось ноль информации.

-- 17.01.2018, 16:37 --

realeugene в сообщении #1285047 писал(а):

Без доопределения вашей задачи единственное, что можно сказать - это что Боб получает неотрицательное количество информации о действиях Алисы.

Собственно говоря, и этот вывод планировал оставить ТС

[realeugene]

EUgeneUS в сообщении #1285061 писал(а):

Недостаточно, чтобы в файле содержалось ноль информации.

"В файле" - достаточно.