Избыточность кода Морзе

[longstreet]

Нагуглил:

Цитата:

Расчеты избыточности кода Морзе на основании проведенных исследований частоты появления букв показали, что для букв английского алфавита она составляет 19%, для букв русского алфавита 22%.

Но оснований цифрам не даётся. Меня интересует: обладает ли избыточностью код Морзе? Ведь если речь идёт о частоте появления букв, то это относится к конкретному языку, скажем, русскому или английскому, но не к самому коду Морзе.

Я столкнулся с понятием избыточности и пытаюсь разобраться, как она вводится в передаваемое сообщение. Скажем, следующие ситуации:
1) Два человека говорят друг с другом, находясь рядом. Здесь присутствует только избыточность только самого языка. Правильно?
2) Два человека говорят по мобильному телефону. Здесь вроде наоборот избыточность как-то убирают, чтобы передаваемый сигнал меньше "весил". Так ли это и как это делается?

Я прочитал, что есть три способа: многократная передача сообщения; вставление дополнительных символов-идентификаторов; передача несколькими каналами. В каких ситуациях что используется?

-- 06.12.2012, 15:17 --

А, ну в ситуации №1 на самом деле каналов несколько: кроме вербального есть ещё и невербальный (мимика, язык тела, ...), и паралингвистический (тембр, тон, интонация, ...).

[ewert]

longstreet в сообщении #655000 писал(а):

Меня интересует: обладает ли избыточностью код Морзе?

Естественно: там символы кодируются последовательностями от одного до пяти точек/тире, итого всех возможных комбинаций 62, в то время как букв/цифр всего лишь около сорока. То, что экспериментальная избыточность меньше, можно объяснить тем, что более часто встречающиеся символы кодируются более короткими комбинациями (как, собственно, при сочинении кода и задумывалось).

[longstreet]

Там вроде столько сколько обычных букв и цифр, только ещё пробел и конец связи. Откуда 62?

-- 06.12.2012, 16:19 --

И повторю вопрос: а какое место избыточность занимает в сотовой связи?

[ewert]

longstreet в сообщении #655028 писал(а):

Там вроде столько сколько обычных букв и цифр, только ещё пробел и конец связи. Откуда 62?

62 -- это количество всевозможных комбинаций точек/тире. Реально же используются не все эти комбинации, а около сорока. В этом и избыточность кода.

longstreet в сообщении #655028 писал(а):

И повторю вопрос: а какое место избыточность занимает в сотовой связи?

В этом я не разбираюсь. Но как минимум она нужна для помехоустойчивости. Ну и для шифрования, наверное, тоже не помешает.

[longstreet]

ewert в сообщении #655035 писал(а):

Реально же используются не все эти комбинации, а около сорока. В этом и избыточность кода.

Пффф... Так я могу сказать, что в русском языке двести букв, просто только малая часть используется...

Наверное, всё-таки избыточность не в этом. Например, если бы для надёжности в азбуке Морзе перед гласной всегда шёл какой-то один символ, а перед согласной - другой символ - то это была бы избыточность. А то, о чём вы говорите - это что-то другое, мне так кажется.

[venco]

longstreet в сообщении #655000 писал(а):

Нагуглил:

Цитата:

Расчеты избыточности кода Морзе на основании проведенных исследований частоты появления букв показали, что для букв английского алфавита она составляет 19%, для букв русского алфавита 22%.

Но оснований цифрам не даётся.

Скорее всего, имеется в виду энтропия с учётом только отдельных букв, т.е. рассматривая буквы как появляющиеся независимо в последовательности с определёнными вероятностями. После этого текст переводится в код Морзе и рассматривается уже бинарный алфавит из точек и тире. Считаем энтропию кода Морзе и сравниваем с энтропией исходного языка. Разница и есть избыточность.

Цитата:

Меня интересует: обладает ли избыточностью код Морзе? Ведь если речь идёт о частоте появления букв, то это относится к конкретному языку, скажем, русскому или английскому, но не к самому коду Морзе.

Чтобы говорить об избыточности, надо сравнивать энтропии какого-либо одного текста, и перекодированного. Поэтому оригинальный текст важен. Можно, например, определить избыточность кода Морзе для таблиц Брадиса, или телефонной книги.

Цитата:

Я столкнулся с понятием избыточности и пытаюсь разобраться, как она вводится в передаваемое сообщение. Скажем, следующие ситуации:
1) Два человека говорят друг с другом, находясь рядом. Здесь присутствует только избыточность только самого языка. Правильно?

Избыточность чего по сравнению с чем?

Цитата:

2) Два человека говорят по мобильному телефону. Здесь вроде наоборот избыточность как-то убирают, чтобы передаваемый сигнал меньше "весил". Так ли это и как это делается?

Тот же вопрос.
Если энтропию передачи по мобильной связи ещё можно довольно легко сформулировать (в конце концов, там пересылаются биты), то об энтропии разговора нужно дополнительно договариваться, ибо информации в звуке просто невообразимое количество - тот же броуновский шум. Другое дело, что не всю эту информацию мы способны извлечь ушами, но тогда надо учитывать обработку звука в мозгу.

-- Чт дек 06, 2012 09:58:04 --

Либо просто рассматривать только текст, который они проговаривают, без учёта тембра и высоты звука. Тогда есть из чего определить избыточность мобильной связи... Нет, не получится. Говорить можно с разной скоростью, от этого будет меняться посчитанная таким образом избыточность.

[ewert]

longstreet в сообщении #655081 писал(а):

Например, если бы для надёжности в азбуке Морзе перед гласной всегда шёл какой-то один символ, а перед согласной - другой символ - то это была бы избыточность. А то, о чём вы говорите - это что-то другое, мне так кажется.

То, что для повышения надёжности требуется избыточность -- вовсе не означает, что при отсутствии помехоустойчивости избыточности нет.

[longstreet]

venco, т.е. можно говорить об избыточности только относительно: избыточность A по отношению к B?
А по отношению к чему тогда считаются избыточными естественные языки? Любой текст на естественным языке считается избыточным - по отношению к чему? Я думал, что избыточность подразумевается по отношению к некоторому абсолюту - минимальному выражению некоторого смысла...

Например, во фразе "Иван пошёл домой и сел на кровать." есть языковая избыточность, т.к. дублируется пол, ср. слова "пошёл" и "сел", которые оба стоят в мужском роде, хотя такое дублирование избыточно, т.к. из мужской формы "пошёл" следует мужская форма "сел".

[venco]

longstreet в сообщении #655109 писал(а):

venco, т.е. можно говорить об избыточности только относительно: избыточность A по отношению к B?

Какбе слово "избыточность" на это намекает.

longstreet в сообщении #655109 писал(а):

А по отношению к чему тогда считаются избыточными естественные языки? Любой текст на естественным языке считается избыточным - по отношению к чему? Я думал, что избыточность подразумевается по отношению к некоторому абсолюту - минимальному выражению некоторого смысла...

Ну да. Проблема в том, чтобы определить этот смысл и сколько информации в нём содержится.

Цитата:

Например, во фразе "Иван пошёл домой и сел на кровать." есть языковая избыточность, т.к. дублируется пол, ср. слова "пошёл" и "сел", которые оба стоят в мужском роде, хотя такое дублирование избыточно, т.к. из мужской формы "пошёл" следует мужская форма "сел".

Да. Это лишняя информация. Но вот является ли информацией порядок слов? От него зависят оттенки смысла ("Иван пошёл домой и на кровать сел"), и оределить сколько информации они несут - нетривиальная, если вообще возможная задача. Т.е. приходится упрощать, а от принятых упрощений зависит результат, поэтому приходится их проговаривать.

[spctr]

Просто надо разделять избыточность самой информации и избыточность, вводимую для уменьшения объёма.
При разговоре по мобильному телефону сначала происходит сжатие оцифрованного сигнала для уменьшения объёма, затем осуществляется помехоустойчивое кодирование -- вводится избыточная информация. На приёмной стороне всё это декодируют и восстанавливают. Сжатие и кодирование осуществляется хитрыми способами и зависит от стандарта связи. Но оно никакого отношения к избыточности речи не имеет, а определяется только характеристиками самого сигнала.

[IRINA-22]

Возможно избыточность в коде Морзе ,на практике реально не используемые знаки.Например пробел практически не используется, на практике удлиняется пауза.Замена цифр буквами.1-А 4-Ж 9-Н 0-Т.

[longstreet]

А, вообще, избыточность - это свойство чего именно: кода? сообщения? канала?

[spctr]

Есть избыточность сообщения (информации), определяемая через энтропию и про которую рассуждали выше. А есть также избыточность кода. На входе кодера есть сообщение, природа и избыточность которого не важна. А на выходе -- кодированное сообщение. Вот по исходному и кодированному сообщению определяется избыточность кода.

[longstreet]

spctr в сообщении #655203 писал(а):

Вот по исходному и кодированному сообщению определяется избыточность кода.

Так она же в общем случае будет зависеть от конкретного сообщения!? ...Одно конкретное сообщение некоторый код может передавать "хорошо", не добавляя много информации; а в другое сообщение тот же код может вставить много информации...

-- 06.12.2012, 20:58 --

Например, код устроен так, что для надежной передачи ставит специальный символ перед гласными. А теперь передадим два сообщения с помощью этого кода по одному и тому же каналу: 1) "ААА"; 2) "ППП". В первом случае код даст большую избыточность, чем во втором случае.

[spctr]

Поясню на примере. Азбука Морзе - это код, каждой букве ставящий в соответствие слово, составленное из ограниченного набора символов - $\lbrace 0,1 \rbrace$. Код неравномерный, поскольку для передачи разных букв используется разное количество символов. Избыточность кода Морзе определяется несоответствием наиболее частотных букв языка самым коротким кодовым словам. Помехоустойчивость его сомнительна, поскольку, стоит перепутать ноль с единицей в коротких словах, и мы примем неправильную букву.
Пусть теперь мы используем код Морзе в условиях помех (физический тип канала не рассматриваем). Добавим к каждому слову по одному разряду в конец - бит чётности. Теперь уже мы можем обнаружить ошибку, если один бит в слове приняли неправильно. На самом деле в данном случае немного не так, потому что код неравномерный, но это не существенно для идеи.
Таким образом код, обнаруживающий или исправляющий ошибки - это код, который кодирует другой код.
В данном случае избыточность такого кода действительно зависит от передаваемого сообщения.
Если же код равномерный, или алгоритм помехоустойчивого кодирования свёрточный, то такой зависимости не будет.
Пусть мы можем передавать $2^n$ слов, кодируем их $n$ битами. Вводя $r$ избыточных битов, получаем избыточность $\frac{n}{n+r}$, которая не зависит от передаваемого сообщения.