2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу Пред.  1 ... 16, 17, 18, 19, 20, 21, 22 ... 34  След.
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 18:37 
Аватара пользователя
Dan B-Yallay в сообщении #1644079 писал(а):
Где изменение?

Geen в сообщении #1644076 писал(а):
И ответ на него вполне конкретный - количество информации зависит от знаний приёмника.

Приёмник, знающий иероглифы и приёмник не знающий их - это разные приёмники.

Хм, а в чём тогда проблема?

Я так сразу и понял вот этот ответ:
Geen в сообщении #1644008 писал(а):
EUgeneUS в сообщении #1643869 писал(а):
Вы хотите сказать, что количество информации может изменяться вне зависимости от физического состояния носителя информации?

Конечно - информация вообще (а тем более её количество) определяется не носителем (каналом), а приёмником.

- что получаемая информация (в том числе, её количество) определяется знаниями приёмника. А именно, тем, как он оценивает вероятности различных вариантов. Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 18:43 
Аватара пользователя
Продолжу.
Вспоминается, относительно недавний ролик, где Александр Панчин, в числе прочего, предложил считать жизнью то, что изучают биологи. Так и тут, придерживаюсь определения, согласно которому информация это то, что изучает Теория информации. А там нет семантики, и количество информации не зависит от состояния приёмника, от его способности "навесить" смыслы на принятую информацию.

Конечно, далек от мысли считать авторов стандартов идиотами. :wink:
Но у них сложная задача - дать формализованное определение термина, которое хоть как-то согласуется с общепринятым смыслом слова в языке.
А у нас (и, видимо, в англоязычной среде) знаниями принято называть нечто более значимое и интеллектуальное, а информацией - нечто менее значимое, но всё таки имеющее смысл. Знания - в книгах, например, знания о квантовой механике содержатся в третьем томе Ландау, Лифшица. А информация - в записных книжках, например, контактная информация. :wink: :wink:
Но такие дефиниции приводят
а) к сбоям в коммуникации, так как позволяют под информацией понимать разное.
б) к абсурдам, как показано выше.

Такие дела.

-- 25.06.2024, 18:44 --

epros в сообщении #1644084 писал(а):
Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.


Очевидно, тут ошибка.
При выборке, достаточной для применения статистических методов, оценки и получаются статистические. Вместе с доверительными интервалами, если нужно

-- 25.06.2024, 18:55 --

epros в сообщении #1644063 писал(а):
EUgeneUS, цитату из Википедии ещё раз посмотрите. Там несколько десятков символов, "релевантную оценку" вероятности которых дать невозможно. Да и для остальных (часто повторяющихся) символов релевантность оценки под большим вопросом (см. вторую часть цитаты). Я уж не говорю о том, что релевантность того, чтобы считать распределения отдельных символов в тексте независимыми, очень спорна.


По пунктам.
1. Редкие символы несут больше информации, чем частые, в отдельном их появлении.
Но суммарно они дадут небольшой вклад в общую сумму. Потому что редкие. И их неопределенность слабо повлияет на общую неопределенность в подсчете информации.
2. Для частых символов с различным начертанием можно посчитать варианты считая их различными, и одинаковыми. Тут разброс может оказаться заметным. Но все равно подсчет информации даст некий диапазон, от ... до.
3. Зависимость распределения символов (да и слов тоже, считая пробел разделителем слов) учитывается с помощью условной энтропии.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 18:58 
Аватара пользователя
Geen в сообщении #1644082 писал(а):
Ну то есть, вопрос о количестве информации просто бессмысленен, так?

Смотря в каком контексте понимается термин "информация" в Вашем вопросе. Моя имха: можно говорить о количестве информации для конкретной фиксированной системы "источник-получатель".
Если их не фиксировать, то смысл пропадает.

Например: Вы идёте на остановку и видите куст, с поломанной засохшей веткой, разбитую бутылку на остановке, окурок на чистом газоне.
Любое из этих наблюдений может нести сигнал "Алекс Юстасу". Или может оказаться что это 3 различных сигнала для разных пар "Алексов и Юстасов".

А может быть это просто случайности: собаки дрались и сломали ветку, ребёнок пил лимонад и не удержал бутылку, невоспитанный гражданин не донёс окурок до урны.

Есть смысл говорить о количестве информации в описанном случае?

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 19:02 
Аватара пользователя
Dan B-Yallay в сообщении #1644087 писал(а):
Есть смысл говорить о количестве информации в описанном случае?


Есть. В контексте разрешительной способности Ваших глаз (передатчик) и скорости предобработки в глазном нерве (канал). А смыслы навешиваются в коре, включая распознавание образов.

(Оффтоп)

а то может окурок это не окурок, а флешка на 32 гигабайта, "Алекс Юстасу" :mrgreen:

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 19:08 
Аватара пользователя
epros в сообщении #1644084 писал(а):
- что получаемая информация (в том числе, её количество) определяется знаниями приёмника.

Вы не сможете определить количество информации получаемой приёмником с носителя, если не зафиксируете знания приёмника.
А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

-- Вт июн 25, 2024 10:14:49 --

EUgeneUS в сообщении #1644088 писал(а):
Есть. В контексте разрешительной способности Ваших глаз (передатчик) и скорости предобработки в глазном нерве (канал). А смыслы навешиваются в коре, включая распознавание образов.
Давайте не будем о грустном (близорукости, галлюцинациях, похмельных синдромах и прочих факторах), не имеющим отношения к обсуждаемому.
Будем считать, что увиденное было многажды верифицировано контрольным пальпированием, обнюхиванием и опросом свидетелй.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 19:22 
Аватара пользователя
Dan B-Yallay в сообщении #1644089 писал(а):
Будем считать, что увиденное было многажды верифицировано контрольным пальпированием, обнюхиванием и опросом свидетелй.


Это всё разные источники и каналы передачи информации.

С определениями информации дилемма-то простая получается:
либо мы считаем информацией некую абстракцию имеющую смысл. И именно наличие смысла есть основное свойство информации.
либо мы считаем информацией, то, что изучает Теория информации и что измеряется в битах. Но не имеет смысла.

Ежели, мы в потоке информации начинаем узнавать какие-то образы, то это уже смысл, и вторым вариантом определения не можем пользоваться.

-- 25.06.2024, 19:45 --

epros в сообщении #1644084 писал(а):
Если никак не оценивает, а просто видит перед собой некоторые непонятные символы и даже не знает из какого они набора, то вопрос о получаемой информации вообще не имеет смысла.


Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.
Ибо в формулу Шеннона входят только вероятности, а оценка вероятностей - это количество появления символа делить на общее количество символов в выборке, а не в наборе\алфавите.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 20:15 
Аватара пользователя
Dan B-Yallay в сообщении #1644089 писал(а):
Вы не сможете определить количество информации получаемой приёмником с носителя, если не зафиксируете знания приёмника.
А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

В каком смысле не будет зависеть? Вот мы зафиксировали априорные знания о вероятностях различных ситуаций с получением сообщений от агента: 0.5% - будет сообщение о нападении, 0.5% - будет сообщено о ненападении, 99% - в данном сообщении не будет информации о нападении или ненападении. В итоге количество информации в сообщении будет здорово зависеть от того, будут ли в нём указания на нападение/ненападение.

EUgeneUS в сообщении #1644081 писал(а):
Тут интересен первый вариант, где бит определяется, как единица информации.

Строго говоря бит, это единица количества информации. Интерпретация его как "единицы информации" - это допустимый жаргонизм.

EUgeneUS в сообщении #1644081 писал(а):
А именно и в частности:
1. Отсутствует, ещё не предложен механизм, как измерять смысл битами. :mrgreen:

Просто в этом конкретном месте не описан. "Не предложен" в смысле "вообще" - это слишком сильно сказано.

EUgeneUS в сообщении #1644081 писал(а):
2. Теория информации, оказывается, не изучат информацию. Так как изучение семантики не входит в область теории информации. :wink:

Да ладно. Семантика по своей сути в некотором смысле является интерпретацией текстов множествами. Просто она далеко не всегда формализуется, поэтому нет смысла специально "изучать" её в рамках теории информации.

EUgeneUS в сообщении #1644085 писал(а):
А у нас (и, видимо, в англоязычной среде) знаниями принято называть нечто более значимое и интеллектуальное, а информацией - нечто менее значимое, но всё таки имеющее смысл. Знания - в книгах, например, знания о квантовой механике содержатся в третьем томе Ландау, Лифшица. А информация - в записных книжках, например, контактная информация. :wink: :wink:
Но такие дефиниции приводят
а) к сбоям в коммуникации, так как позволяют под информацией понимать разное.
б) к абсурдам, как показано выше.

С чего бы это? Не вижу никаких проблем в том, чтобы считать их синонимами, с точностью до стилистических нюансов: когда нам нужно в каких-то специальных случаях отделить одни виды знаний (информации) от других.

EUgeneUS в сообщении #1644085 писал(а):
Очевидно, тут ошибка.
При выборке, достаточной для применения статистических методов, оценки и получаются статистические. Вместе с доверительными интервалами, если нужно

И что Вы наоцениваете, если видите перед собой текст из двадцати иероглифов, все разные и ни один из них Вам не знаком? Вот я даже не смогу сказать, из какого они языка и сколько в нём иероглифов всего. Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.

EUgeneUS в сообщении #1644085 писал(а):
По пунктам.
1. Редкие символы несут больше информации, чем частые, в отдельном их появлении.
Но суммарно они дадут небольшой вклад в общую сумму. Потому что редкие. И их неопределенность слабо повлияет на общую неопределенность в подсчете информации.

Вывод, конечно же ни на чём не основан. Если символ встретился один раз, то вполне может быть, что априорную вероятность его появления нужно было оценить в $10^{-100500}$, а значит его появление несёт информации на порядки больше, чем остальной текст.

EUgeneUS в сообщении #1644085 писал(а):
2. Для частых символов с различным начертанием можно посчитать варианты считая их различными, и одинаковыми. Тут разброс может оказаться заметным. Но все равно подсчет информации даст некий диапазон, от ... до.
3. Зависимость распределения символов (да и слов тоже, считая пробел разделителем слов) учитывается с помощью условной энтропии.

Ничего из одного голого текста, без какой-то априорной модели того, что это вообще такое, Вы не посчитаете.

Я понимаю, что Вы привыкли к тому, что в компьютерной технике на компьютерный носитель можно записать ровно то количество информации, которое позволяет носитель. Но на самом деле это просто результат некой зафиксированной модели этого носителя: Есть столько-то независимых ячеек с двумя возможными "равноценными" состояниями. Разумеется, после того, как мы зафиксировали априорные вероятности вариантов того, что можем увидеть мы (читатели информации с носителя), то количество информации становится уже "независимым от читателя".

-- Вт июн 25, 2024 21:20:28 --

EUgeneUS в сообщении #1644090 писал(а):
Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.

То, что входит в формулу Шеннона, зависит от количества символов в наборе и от вероятностей их появления. Вообще-то, от первого зависит уже то, что входит в формулу Хартли. А формула Шеннона, кстати, допускает не только разные вероятности символов, но допускает и различные варианты их совместных распределений.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 20:46 
Аватара пользователя
epros в сообщении #1644094 писал(а):
Вот мы зафиксировали априорные знания о вероятностях различных ситуаций с получением сообщений от агента: 0.5% - будет сообщение о нападении, 0.5% - будет сообщено о ненападении, 99% - в данном сообщении не будет информации о нападении или ненападении. В итоге количество информации в сообщении будет здорово зависеть от того, будут ли в нём указания на нападение/ненападение.
Причём тут вероятности получить то или иное сообщение? Напомню, что рассматривается уже существующее сообщение (на носителе). Либо в нём есть информация о (не)нападении, либо нет. Hикакая другая информация в сообщении на носителе уже не появится. Для фиксированного приёмника, количество информации на этом носителе уже не меняется и ни от чего не зависит. Разумеется при условии, что он получит доступ к носителю.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:00 
Аватара пользователя
Dan B-Yallay в сообщении #1644096 писал(а):
Для фиксированного приёмника,

Выше я предлагал некий вариант с конвертом....

-- 25.06.2024, 21:02 --

EUgeneUS в сообщении #1644090 писал(а):
Кстати, при оценках количества информации нам вообще по барабану из какого набора символы.

Так а что там с конвертом?..

-- 25.06.2024, 21:05 --

Dan B-Yallay в сообщении #1644089 писал(а):
А если зафиксируете, то количество этой информации уже не будет зависеть от того вымер источник инфы (иероглифов) или нет.

Напомню, что в исходном вопросе "рассматривалось" не вымирание источников, а вымирание (фиксированных) приёмников...

-- 25.06.2024, 21:08 --

Dan B-Yallay в сообщении #1644096 писал(а):
Hикакая другая информация в сообщении на носителе уже не появится.

Это Вы книги про контрразведку не читали...

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:18 
Аватара пользователя
Geen в сообщении #1644099 писал(а):
Выше я предлагал некий вариант с конвертом....
Какое отношение имеет Ваш вариант с равновозможными конвертами к тому, что уже написано на камнях египтянами?

Какова вероятность получить приёмником сообщение "X", если источник уже выслал сообщение "Y". Канал связи считаем полностью исправным и чистым от искажений.

Geen в сообщении #1644099 писал(а):
Напомню, что в исходном вопросе "рассматривалось" не вымирание источников, а вымирание (фиксированных) приёмников...
Ну вымерли, так вымерли. И что?
Повторю имху еще раз: количество информации имеет смысл для фиксированной пары: источник-приёмник. Приёмник вымер - значит больше нет смысла вообще рассуждать о количестве информации (в тех же иероглифах) .

И в этом случае говорить "количество информации изменилось" тоже бессмысленно.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:33 
Аватара пользователя
Dan B-Yallay в сообщении #1644096 писал(а):
Для фиксированного приёмника, количество информации на этом носителе уже не меняется и ни от чего не зависит.

Так вроде речь шла не о фиксированном приёмнике, а о зависимости информации от приёмника. И количество информации, как я понимаю, очень даже изменится, если приёмник пересмотрит свои оценки вероятностей.

Dan B-Yallay в сообщении #1644096 писал(а):
Напомню, что рассматривается уже существующее сообщение (на носителе). Либо в нём есть информация о (не)нападении, либо нет.

Для того, кто не знает секретных слов, информации о (не)нападении в этом сообщении точно нет. Хотя "на самом деле" она как будто есть.

Dan B-Yallay в сообщении #1644096 писал(а):
Hикакая другая информация в сообщении на носителе уже не появится.

Мы просто не знаем, что автор сообщения на самом деле является двойным агентом и одновременно направляет сообщения ещё и филиппинской разведке, уже совсем про другое (про наличие/отсутствие программы разработки космических ракет). Но там другие секретные слова надо знать, чтобы эта информация "появилась". :roll:

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:41 
Аватара пользователя
epros в сообщении #1644094 писал(а):
Интерпретация его как "единицы информации" - это допустимый жаргонизм.

Вот и хорошо, что допустимый. Но с поправкой - согласен.

epros в сообщении #1644094 писал(а):
Просто в этом конкретном месте не описан. "Не предложен" в смысле "вообще" - это слишком сильно сказано.

Так дайте ссылку, где предложен.

epros в сообщении #1644094 писал(а):
Семантика по своей сути в некотором смысле является интерпретацией текстов множествами. Просто она далеко не всегда формализуется, поэтому нет смысла специально "изучать" её в рамках теории информации.

Об чём и речь - не всегда формализуется. Я бы сказал - далеко не всегда формализуется.

epros в сообщении #1644094 писал(а):
С чего бы это? Не вижу никаких проблем в том, чтобы считать их синонимами, с точностью до стилистических нюансов: когда нам нужно в каких-то специальных случаях отделить одни виды знаний (информации) от других.

Их нельзя считать синонимами, потому что это ведет к абсурдам. Это омонимы.

epros в сообщении #1644094 писал(а):
И что Вы наоцениваете, если видите перед собой текст из двадцати иероглифов, все разные и ни один из них Вам не знаком? Вот я даже не смогу сказать, из какого они языка и сколько в нём иероглифов всего. Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.


Текст из двадцати иероглифов, и все разные, даст очень широкую оценку. А текст из 100500 иероглифов 20-и различных типов даст гораздо более узкую оценку.

epros в сообщении #1644094 писал(а):
Но и когда у Вас есть достаточно большой набор с множеством повторений, все эти "статистические оценки с доверительными интервалами" могут здорово зависеть от априорных предположений.


Свобода в априорных предположениях нивелируется при наборе статистики. Например, при оценке эффективности вакцин по байесовскими методами, априори предполагается, не что вакцина нейтральна, а что сильно таки вредна (увеличивает вероятность заболевания).

epros в сообщении #1644094 писал(а):
Вывод, конечно же ни на чём не основан.

конечно же основан - на формуле Шеннона.

epros в сообщении #1644094 писал(а):
Ничего из одного голого текста, без какой-то априорной модели того, что это вообще такое, Вы не посчитаете.


Чей-та?

epros в сообщении #1644094 писал(а):
То, что входит в формулу Шеннона, зависит от количества символов в наборе и от вероятностей их появления. Вообще-то, от первого зависит уже то, что входит в формулу Хартли. А формула Шеннона, кстати, допускает не только разные вероятности символов, но допускает и различные варианты их совместных распределений.

Иэхх
Вот формула Шеннона:
$I(m) = \log (\frac{1}{p(m)}) = - \log (p(m))$

Где
$I(m)$ - количество информации в сообщении $m$
$p(m)$ - вероятность сообщения $m$

Считая, что сообщение $m$ состоит из символов $c_i$, имеет длину $N$, и вероятность появления символов независима, получаем:
$I(m) = \sum\limits_{i=1}^{N}- \log (p(c_i))$
cуммирование производится по позициям символа в сообщении.

Переходим к оценкам:
$\tilde{I(m)} = \sum\limits_{i=1}^{N}- \log (\tilde{p(c_i)})$

$\tilde{p(c_i)} = \frac{N(c_i)}{N}$, где $N(c_i)$ - количество символов _вида_ $c_i$ в сообщении.

Тогда
$\tilde{I(m)} = \sum\limits_{j}^{}- N(c_j) \log (\frac{N(c_j)}{N})$

Здесь суммирование производится по всем вариантам символов, которые встретились в сообщении.

Учет зависимости символов уменьшит оценку, но если это будет иметь статистическую значимость, то статистическими методами и учтется.

UPD: ну и где тут, в этой оценке, мощность алфавита используется?

-- 25.06.2024, 21:42 --

Geen в сообщении #1644099 писал(а):
Так а что там с конвертом?..

Исчо раз:
EUgeneUS в сообщении #1644090 писал(а):
С определениями информации дилемма-то простая получается:
либо мы считаем информацией некую абстракцию имеющую смысл. И именно наличие смысла есть основное свойство информации.
либо мы считаем информацией, то, что изучает Теория информации и что измеряется в битах. Но не имеет смысла.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:50 
Аватара пользователя
Dan B-Yallay в сообщении #1644096 писал(а):
Для фиксированного приёмника,

Ок. А такие приёмники бывают в реальности? (собственно, пример с конвертом об этом)
Dan B-Yallay в сообщении #1644102 писал(а):
И в этом случае говорить "количество информации изменилось" тоже бессмысленно.

Согласен, но только уточню - "количество информации" бессмысленно без описания всей системы целиком (включая адекватность источника, грибы в канале/носителе и контузии приёмника)...
Главное тут не прийти к противоречию с фиксированностью приёмника ;-)

-- 25.06.2024, 21:51 --

EUgeneUS в сообщении #1644107 писал(а):
вероятность сообщения $m$

В случае с манускриптом Войнича сообщение ровно одно...

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:52 
Аватара пользователя
Geen в сообщении #1644111 писал(а):
Согласен, но только уточню - "количество информации" бессмысленно без описания всей системы целиком (включая адекватность источника, грибы в канале/носителе и контузии приёмника)...


Собственно, к этому и приходим, если считаем информацией некую абстракцию, имеющую смысл.

-- 25.06.2024, 21:53 --

Geen в сообщении #1644111 писал(а):
В случае с манускриптом Войнича сообщение ровно одно...


Да, ровно одно. А символов в сообщении - много, при этом типов символов - мало. Редких символов в сообщении - тоже мало.

 
 
 
 Re: Почему работают законы физики?
Сообщение25.06.2024, 21:57 
Аватара пользователя
EUgeneUS в сообщении #1644107 писал(а):
Исчо раз:

Про "биты" Вам уже написали. Какое отношение альтернатива имеет к "конверту" я не понял.

-- 25.06.2024, 21:59 --

EUgeneUS в сообщении #1644112 писал(а):
А символов в сообщении - много, при этом типов символов - мало.

А в азбуке Морзе всего два символа... А Вы как символы определяете и на каком основании приписываете им какую-то информацию?

 
 
 [ Сообщений: 499 ]  На страницу Пред.  1 ... 16, 17, 18, 19, 20, 21, 22 ... 34  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group