Почему работают законы физики?

[epros]

Dan B-Yallay в сообщении #1644079 писал(а):

Где изменение?

Geen в сообщении #1644076 писал(а):

И ответ на него вполне конкретный - количество информации зависит от знаний приёмника.

Приёмник, знающий иероглифы и приёмник не знающий их - это разные приёмники.

Хм, а в чём тогда проблема?

Я так сразу и понял вот этот ответ:

Geen в сообщении #1644008 писал(а):

EUgeneUS в сообщении #1643869 писал(а):

Вы хотите сказать, что количество информации может изменяться вне зависимости от физического состояния носителя информации?

Конечно - информация вообще (а тем более её количество) определяется не носителем (каналом), а приёмником.

- что получаемая информация (в том числе, её количество) определяется знаниями приёмника. А именно, тем, как он оценивает вероятности различных вариантов. Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.

[EUgeneUS]

Продолжу.
Вспоминается, относительно недавний ролик, где Александр Панчин, в числе прочего, предложил считать жизнью то, что изучают биологи. Так и тут, придерживаюсь определения, согласно которому информация это то, что изучает Теория информации. А там нет семантики, и количество информации не зависит от состояния приёмника, от его способности "навесить" смыслы на принятую информацию.

Конечно, далек от мысли считать авторов стандартов идиотами.
Но у них сложная задача - дать формализованное определение термина, которое хоть как-то согласуется с общепринятым смыслом слова в языке.
А у нас (и, видимо, в англоязычной среде) знаниями принято называть нечто более значимое и интеллектуальное, а информацией - нечто менее значимое, но всё таки имеющее смысл. Знания - в книгах, например, знания о квантовой механике содержатся в третьем томе Ландау, Лифшица. А информация - в записных книжках, например, контактная информация.
Но такие дефиниции приводят
а) к сбоям в коммуникации, так как позволяют под информацией понимать разное.
б) к абсурдам, как показано выше.

Такие дела.

-- 25.06.2024, 18:44 --

epros в сообщении #1644084 писал(а):

Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.

Очевидно, тут ошибка.
При выборке, достаточной для применения статистических методов, оценки и получаются статистические. Вместе с доверительными интервалами, если нужно

-- 25.06.2024, 18:55 --

epros в сообщении #1644063 писал(а):

EUgeneUS, цитату из Википедии ещё раз посмотрите. Там несколько десятков символов, "релевантную оценку" вероятности которых дать невозможно. Да и для остальных (часто повторяющихся) символов релевантность оценки под большим вопросом (см. вторую часть цитаты). Я уж не говорю о том, что релевантность того, чтобы считать распределения отдельных символов в тексте независимыми, очень спорна.

По пунктам.
1. Редкие символы несут больше информации, чем частые, в отдельном их появлении.
Но суммарно они дадут небольшой вклад в общую сумму. Потому что редкие. И их неопределенность слабо повлияет на общую неопределенность в подсчете информации.
2. Для частых символов с различным начертанием можно посчитать варианты считая их различными, и одинаковыми. Тут разброс может оказаться заметным. Но все равно подсчет информации даст некий диапазон, от ... до.
3. Зависимость распределения символов (да и слов тоже, считая пробел разделителем слов) учитывается с помощью условной энтропии.

[Dan B-Yallay]

Geen в сообщении #1644082 писал(а):

Ну то есть, вопрос о количестве информации просто бессмысленен, так?

Смотря в каком контексте понимается термин "информация" в Вашем вопросе. Моя имха: можно говорить о количестве информации для конкретной фиксированной системы "источник-получатель".
Если их не фиксировать, то смысл пропадает.

Например: Вы идёте на остановку и видите куст, с поломанной засохшей веткой, разбитую бутылку на остановке, окурок на чистом газоне.
Любое из этих наблюдений может нести сигнал "Алекс Юстасу". Или может оказаться что это 3 различных сигнала для разных пар "Алексов и Юстасов".

А может быть это просто случайности: собаки дрались и сломали ветку, ребёнок пил лимонад и не удержал бутылку, невоспитанный гражданин не донёс окурок до урны.

Есть смысл говорить о количестве информации в описанном случае?

[EUgeneUS]

Dan B-Yallay в сообщении #1644087 писал(а):

Есть смысл говорить о количестве информации в описанном случае?

Есть. В контексте разрешительной способности Ваших глаз (передатчик) и скорости предобработки в глазном нерве (канал). А смыслы навешиваются в коре, включая распознавание образов.

(Оффтоп)

а то может окурок это не окурок, а флешка на 32 гигабайта, "Алекс Юстасу"

[Dan B-Yallay]

epros в сообщении #1644084 писал(а):

- что получаемая информация (в том числе, её количество) определяется знаниями приёмника.

Вы не сможете определить количество информации получаемой приёмником с носителя, если не зафиксируете знания приёмника.
А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

-- Вт июн 25, 2024 10:14:49 --

EUgeneUS в сообщении #1644088 писал(а):

Есть. В контексте разрешительной способности Ваших глаз (передатчик) и скорости предобработки в глазном нерве (канал). А смыслы навешиваются в коре, включая распознавание образов.

Давайте не будем о грустном (близорукости, галлюцинациях, похмельных синдромах и прочих факторах), не имеющим отношения к обсуждаемому.
Будем считать, что увиденное было многажды верифицировано контрольным пальпированием, обнюхиванием и опросом свидетелй.

[EUgeneUS]

Dan B-Yallay в сообщении #1644089 писал(а):

Будем считать, что увиденное было многажды верифицировано контрольным пальпированием, обнюхиванием и опросом свидетелй.

Это всё разные источники и каналы передачи информации.

С определениями информации дилемма-то простая получается:
либо мы считаем информацией некую абстракцию имеющую смысл. И именно наличие смысла есть основное свойство информации.
либо мы считаем информацией, то, что изучает Теория информации и что измеряется в битах. Но не имеет смысла.

Ежели, мы в потоке информации начинаем узнавать какие-то образы, то это уже смысл, и вторым вариантом определения не можем пользоваться.

-- 25.06.2024, 19:45 --

epros в сообщении #1644084 писал(а):

Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.

Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.
Ибо в формулу Шеннона входят только вероятности, а оценка вероятностей - это количество появления символа делить на общее количество символов в выборке, а не в наборе\алфавите.

[epros]

Dan B-Yallay в сообщении #1644089 писал(а):

Вы не сможете определить количество информации получаемой приёмником с носителя, если не зафиксируете знания приёмника.
А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

В каком смысле не будет зависеть? Вот мы зафиксировали априорные знания о вероятностях различных ситуаций с получением сообщений от агента: 0.5% - будет сообщение о нападении, 0.5% - будет сообщено о ненападении, 99% - в данном сообщении не будет информации о нападении или ненападении. В итоге количество информации в сообщении будет здорово зависеть от того, будут ли в нём указания на нападение/ненападение.

EUgeneUS в сообщении #1644081 писал(а):

Тут интересен первый вариант, где бит определяется, как единица информации.

Строго говоря бит, это единица количества информации. Интерпретация его как "единицы информации" - это допустимый жаргонизм.

EUgeneUS в сообщении #1644081 писал(а):

А именно и в частности:
1. Отсутствует, ещё не предложен механизм, как измерять смысл битами.

Просто в этом конкретном месте не описан. "Не предложен" в смысле "вообще" - это слишком сильно сказано.

EUgeneUS в сообщении #1644081 писал(а):

2. Теория информации, оказывается, не изучат информацию. Так как изучение семантики не входит в область теории информации.

Да ладно. Семантика по своей сути в некотором смысле является интерпретацией текстов множествами. Просто она далеко не всегда формализуется, поэтому нет смысла специально "изучать" её в рамках теории информации.

EUgeneUS в сообщении #1644085 писал(а):

А у нас (и, видимо, в англоязычной среде) знаниями принято называть нечто более значимое и интеллектуальное, а информацией - нечто менее значимое, но всё таки имеющее смысл. Знания - в книгах, например, знания о квантовой механике содержатся в третьем томе Ландау, Лифшица. А информация - в записных книжках, например, контактная информация.
Но такие дефиниции приводят
а) к сбоям в коммуникации, так как позволяют под информацией понимать разное.
б) к абсурдам, как показано выше.

С чего бы это? Не вижу никаких проблем в том, чтобы считать их синонимами, с точностью до стилистических нюансов: когда нам нужно в каких-то специальных случаях отделить одни виды знаний (информации) от других.

EUgeneUS в сообщении #1644085 писал(а):

Очевидно, тут ошибка.
При выборке, достаточной для применения статистических методов, оценки и получаются статистические. Вместе с доверительными интервалами, если нужно

И что Вы наоцениваете, если видите перед собой текст из двадцати иероглифов, все разные и ни один из них Вам не знаком? Вот я даже не смогу сказать, из какого они языка и сколько в нём иероглифов всего. Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.

EUgeneUS в сообщении #1644085 писал(а):

По пунктам.
1. Редкие символы несут больше информации, чем частые, в отдельном их появлении.
Но суммарно они дадут небольшой вклад в общую сумму. Потому что редкие. И их неопределенность слабо повлияет на общую неопределенность в подсчете информации.

Вывод, конечно же ни на чём не основан. Если символ встретился один раз, то вполне может быть, что априорную вероятность его появления нужно было оценить в $10^{-100500}$, а значит его появление несёт информации на порядки больше, чем остальной текст.

EUgeneUS в сообщении #1644085 писал(а):

2. Для частых символов с различным начертанием можно посчитать варианты считая их различными, и одинаковыми. Тут разброс может оказаться заметным. Но все равно подсчет информации даст некий диапазон, от ... до.
3. Зависимость распределения символов (да и слов тоже, считая пробел разделителем слов) учитывается с помощью условной энтропии.

Ничего из одного голого текста, без какой-то априорной модели того, что это вообще такое, Вы не посчитаете.

Я понимаю, что Вы привыкли к тому, что в компьютерной технике на компьютерный носитель можно записать ровно то количество информации, которое позволяет носитель. Но на самом деле это просто результат некой зафиксированной модели этого носителя: Есть столько-то независимых ячеек с двумя возможными "равноценными" состояниями. Разумеется, после того, как мы зафиксировали априорные вероятности вариантов того, что можем увидеть мы (читатели информации с носителя), то количество информации становится уже "независимым от читателя".

-- Вт июн 25, 2024 21:20:28 --

EUgeneUS в сообщении #1644090 писал(а):

Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.

То, что входит в формулу Шеннона, зависит от количества символов в наборе и от вероятностей их появления. Вообще-то, от первого зависит уже то, что входит в формулу Хартли. А формула Шеннона, кстати, допускает не только разные вероятности символов, но допускает и различные варианты их совместных распределений.

[Dan B-Yallay]

epros в сообщении #1644094 писал(а):

Вот мы зафиксировали априорные знания о вероятностях различных ситуаций с получением сообщений от агента: 0.5% - будет сообщение о нападении, 0.5% - будет сообщено о ненападении, 99% - в данном сообщении не будет информации о нападении или ненападении. В итоге количество информации в сообщении будет здорово зависеть от того, будут ли в нём указания на нападение/ненападение.

Причём тут вероятности получить то или иное сообщение? Напомню, что рассматривается уже существующее сообщение (на носителе). Либо в нём есть информация о (не)нападении, либо нет. Hикакая другая информация в сообщении на носителе уже не появится. Для фиксированного приёмника, количество информации на этом носителе уже не меняется и ни от чего не зависит. Разумеется при условии, что он получит доступ к носителю.

[Geen]

Dan B-Yallay в сообщении #1644096 писал(а):

Для фиксированного приёмника,

Выше я предлагал некий вариант с конвертом....

-- 25.06.2024, 21:02 --

EUgeneUS в сообщении #1644090 писал(а):

Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.

Так а что там с конвертом?..

-- 25.06.2024, 21:05 --

Dan B-Yallay в сообщении #1644089 писал(а):

А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

Напомню, что в исходном вопросе "рассматривалось" не вымирание источников, а вымирание (фиксированных) приёмников...

-- 25.06.2024, 21:08 --

Dan B-Yallay в сообщении #1644096 писал(а):

Hикакая другая информация в сообщении на носителе уже не появится.

Это Вы книги про контрразведку не читали...

[Dan B-Yallay]

Geen в сообщении #1644099 писал(а):

Выше я предлагал некий вариант с конвертом....

Какое отношение имеет Ваш вариант с равновозможными конвертами к тому, что уже написано на камнях египтянами?

Какова вероятность получить приёмником сообщение "X", если источник уже выслал сообщение "Y". Канал связи считаем полностью исправным и чистым от искажений.

Geen в сообщении #1644099 писал(а):

Напомню, что в исходном вопросе "рассматривалось" не вымирание источников, а вымирание (фиксированных) приёмников...

Ну вымерли, так вымерли. И что?
Повторю имху еще раз: количество информации имеет смысл для фиксированной пары: источник-приёмник. Приёмник вымер - значит больше нет смысла вообще рассуждать о количестве информации (в тех же иероглифах) .

И в этом случае говорить "количество информации изменилось" тоже бессмысленно.

[epros]

Dan B-Yallay в сообщении #1644096 писал(а):

Для фиксированного приёмника, количество информации на этом носителе уже не меняется и ни от чего не зависит.

Так вроде речь шла не о фиксированном приёмнике, а о зависимости информации от приёмника. И количество информации, как я понимаю, очень даже изменится, если приёмник пересмотрит свои оценки вероятностей.

Dan B-Yallay в сообщении #1644096 писал(а):

Напомню, что рассматривается уже существующее сообщение (на носителе). Либо в нём есть информация о (не)нападении, либо нет.

Для того, кто не знает секретных слов, информации о (не)нападении в этом сообщении точно нет. Хотя "на самом деле" она как будто есть.

Dan B-Yallay в сообщении #1644096 писал(а):

Hикакая другая информация в сообщении на носителе уже не появится.

Мы просто не знаем, что автор сообщения на самом деле является двойным агентом и одновременно направляет сообщения ещё и филиппинской разведке, уже совсем про другое (про наличие/отсутствие программы разработки космических ракет). Но там другие секретные слова надо знать, чтобы эта информация "появилась".

[EUgeneUS]

epros в сообщении #1644094 писал(а):

Интерпретация его как "единицы информации" - это допустимый жаргонизм.

Вот и хорошо, что допустимый. Но с поправкой - согласен.

epros в сообщении #1644094 писал(а):

Просто в этом конкретном месте не описан. "Не предложен" в смысле "вообще" - это слишком сильно сказано.

Так дайте ссылку, где предложен.

epros в сообщении #1644094 писал(а):

Семантика по своей сути в некотором смысле является интерпретацией текстов множествами. Просто она далеко не всегда формализуется, поэтому нет смысла специально "изучать" её в рамках теории информации.

Об чём и речь - не всегда формализуется. Я бы сказал - далеко не всегда формализуется.

epros в сообщении #1644094 писал(а):

С чего бы это? Не вижу никаких проблем в том, чтобы считать их синонимами, с точностью до стилистических нюансов: когда нам нужно в каких-то специальных случаях отделить одни виды знаний (информации) от других.

Их нельзя считать синонимами, потому что это ведет к абсурдам. Это омонимы.

epros в сообщении #1644094 писал(а):

И что Вы наоцениваете, если видите перед собой текст из двадцати иероглифов, все разные и ни один из них Вам не знаком? Вот я даже не смогу сказать, из какого они языка и сколько в нём иероглифов всего. Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.

Текст из двадцати иероглифов, и все разные, даст очень широкую оценку. А текст из 100500 иероглифов 20-и различных типов даст гораздо более узкую оценку.

epros в сообщении #1644094 писал(а):

Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.

Свобода в априорных предположениях нивелируется при наборе статистики. Например, при оценке эффективности вакцин по байесовскими методами, априори предполагается, не что вакцина нейтральна, а что сильно таки вредна (увеличивает вероятность заболевания).

epros в сообщении #1644094 писал(а):

Вывод, конечно же ни на чём не основан.

конечно же основан - на формуле Шеннона.

epros в сообщении #1644094 писал(а):

Ничего из одного голого текста, без какой-то априорной модели того, что это вообще такое, Вы не посчитаете.

Чей-та?

epros в сообщении #1644094 писал(а):

То, что входит в формулу Шеннона, зависит от количества символов в наборе и от вероятностей их появления. Вообще-то, от первого зависит уже то, что входит в формулу Хартли. А формула Шеннона, кстати, допускает не только разные вероятности символов, но допускает и различные варианты их совместных распределений.

Иэхх
Вот формула Шеннона:
$I(m) = \log (\frac{1}{p(m)}) = - \log (p(m))$

Где
$I(m)$ - количество информации в сообщении $m$
$p(m)$ - вероятность сообщения $m$

Считая, что сообщение $m$ состоит из символов $c_i$, имеет длину $N$, и вероятность появления символов независима, получаем:
$I(m) = \sum\limits_{i=1}^{N}- \log (p(c_i))$
cуммирование производится по позициям символа в сообщении.

Переходим к оценкам:
$\tilde{I(m)} = \sum\limits_{i=1}^{N}- \log (\tilde{p(c_i)})$

$\tilde{p(c_i)} = \frac{N(c_i)}{N}$, где $N(c_i)$ - количество символов _вида_ $c_i$ в сообщении.

Тогда
$\tilde{I(m)} = \sum\limits_{j}^{}- N(c_j) \log (\frac{N(c_j)}{N})$

Здесь суммирование производится по всем вариантам символов, которые встретились в сообщении.

Учет зависимости символов уменьшит оценку, но если это будет иметь статистическую значимость, то статистическими методами и учтется.

UPD: ну и где тут, в этой оценке, мощность алфавита используется?

-- 25.06.2024, 21:42 --

Geen в сообщении #1644099 писал(а):

Так а что там с конвертом?..

Исчо раз:

EUgeneUS в сообщении #1644090 писал(а):

С определениями информации дилемма-то простая получается:
либо мы считаем информацией некую абстракцию имеющую смысл. И именно наличие смысла есть основное свойство информации.
либо мы считаем информацией, то, что изучает Теория информации и что измеряется в битах. Но не имеет смысла.

[Geen]

Dan B-Yallay в сообщении #1644096 писал(а):

Для фиксированного приёмника,

Ок. А такие приёмники бывают в реальности? (собственно, пример с конвертом об этом)

Dan B-Yallay в сообщении #1644102 писал(а):

И в этом случае говорить "количество информации изменилось" тоже бессмысленно.

Согласен, но только уточню - "количество информации" бессмысленно без описания всей системы целиком (включая адекватность источника, грибы в канале/носителе и контузии приёмника)...
Главное тут не прийти к противоречию с фиксированностью приёмника

-- 25.06.2024, 21:51 --

EUgeneUS в сообщении #1644107 писал(а):

вероятность сообщения $m$

В случае с манускриптом Войнича сообщение ровно одно...

[EUgeneUS]

Geen в сообщении #1644111 писал(а):

Согласен, но только уточню - "количество информации" бессмысленно без описания всей системы целиком (включая адекватность источника, грибы в канале/носителе и контузии приёмника)...

Собственно, к этому и приходим, если считаем информацией некую абстракцию, имеющую смысл.

-- 25.06.2024, 21:53 --

Geen в сообщении #1644111 писал(а):

В случае с манускриптом Войнича сообщение ровно одно...

Да, ровно одно. А символов в сообщении - много, при этом типов символов - мало. Редких символов в сообщении - тоже мало.

[Geen]

EUgeneUS в сообщении #1644107 писал(а):

Исчо раз:

Про "биты" Вам уже написали. Какое отношение альтернатива имеет к "конверту" я не понял.

-- 25.06.2024, 21:59 --

EUgeneUS в сообщении #1644112 писал(а):

А символов в сообщении - много, при этом типов символов - мало.

А в азбуке Морзе всего два символа... А Вы как символы определяете и на каком основании приписываете им какую-то информацию?