Re: Комбинаторика vs теорвер

[Евгений Машеров]

Значит, мы не знаем ничего. Там, где мы можем извлечь информацию из одного момента - у нас есть некая, пусть даже неформализованная, информация о распределении.

[Mihaylo]

Простейший пример: средняя длина электромонокла равна нулю. (Длина всегда неотрицательна.)

[arseniiv]

Если мы не знаем даже носитель случайной величины, мы не можем применить и простого неравенства Маркова.

Mihaylo в сообщении #1049857 писал(а):

Теория Шеннона напрямую не работает.

Так это ведь point и есть. Вы сами соглашаетесь, что для определения информационной энтропии нужна вероятностная мера. Или у вас есть какая-то иная теория информации?

-- Ср сен 02, 2015 22:01:02 --

Mihaylo в сообщении #1049970 писал(а):

Простейший пример: средняя длина электромонокла равна нулю. (Длина всегда неотрицательна.)

Пример чего? Если вы о распределении, то, в предположении, что оно дискретно, оно однозначно восстанавливается (тривиальное с единственным значением 0), это исключительный случай.

[Mihaylo]

arseniiv писал(а):

Так это ведь point и есть. Вы сами соглашаетесь, что для определения информационной энтропии нужна вероятностная мера. Или у вас есть какая-то иная теория информации?

Я удалил то сообщение, т.к. его можно было легко опровергнуть. На Ваш вопрос отвечаю: у меня используется "теория Хартли", то бишь комбинаторный подход.

arseniiv писал(а):

Пример чего? Если вы о распределении, то, в предположении, что оно дискретно, оно однозначно восстанавливается (тривиальное с единственным значением 0), это исключительный случай.

Блин. И так не удается найти подвох в суждениях...

[arseniiv]

Зачем искать что-то, в том числе подвох, там, где его заведомо нет?

[Mihaylo]

Дело в том, что с точки зрения комбинаторного подхода есть даже не подвох, а целый изъян.

[Евгений Машеров]

"Информация по Хартли" предполагает равновероятность событий. С её точки зрения в сообщении "Сегодня видел живого динозавра" ровно 1 бит, поскольку событий 2 - "Есть динозавр" и "Нет динозавра".

[Mihaylo]

Комбинаторные задачи разнообразны. Как поставите задачу, так и решите. Когда речь идет о вероятностях - тут не одно событие, а повторение событий... Если все правильно сделаете, то выведете теорию Шеннона из формулы Хартли и комбинаторики.

Про равновероятность: тут у вас небольшое заблуждение, события необязательно должны быть равновероятны, а значит абсолютизировать равновероятность в "теории Хартли" не следует. Пример: пусть известно, что вероятность какого-либо исхода равна нулю или единице - в этом случае формула Хартли тоже работает, нужно просто в формулу подставлять не общее количество исходов, а то количество, которое собственно представляет собой информационную степень свободы по Бриллюэну. Я бы лучше называл это свойство дискретностью, а не равновероятностью.

[Евгений Машеров]

Для того, чтобы пользоваться формулой Хартли, равновероятность исходов обязательна. Для этого лучше рассмотреть в виде примера не вырожденный случай, с нулевыми или единичными вероятностями (исходы с нулевыми вероятностями лучше рассматривать, как несуществующие, а с единичной - он такой ровно один, и информации 0 бит). А сравнить случаи для начала двух исходов, в первом случае информация о том, что в орлянке выпал орёл, а во втором - что Вы выиграли в лотерею джек-пот. Хотя исходов и там, и там два - информации во втором случае явно больше.

[Mihaylo]

Привожу цитату из книги
Яглом А.М., Яглом И.М. Вероятность и информация. 2007 (страница 81)

Цитата:

Любопытно, что с точки зрения исследователя, изучающего степень неопределенности таких составных опытов, различие между взглядами Хартли и Шеннона оказывается совсем не таким значительным, как это может показаться сначала. В самом деле, ведь даже с точки зрения Хартли нельзя совершенно игнорировать вероятности появления исходов - иначе можно было бы произвольно увеличить число $k$ исходов нашего опыта, добавив к реально возможным исходам любое число фиктивных исходов, имеющих вероятность нуль. Поэтому при вычислении меры неопределенности опыта по Хартли мы непременно должны отбросить все всевозможные исходы, имеющие нулевую вероятность. Но при этом вряд ли стоит учитывать и «практически невозможные» исходы, осуществление которых имеет столь малую вероятность, по на практике ее можно считать нулевой. Заменим теперь опыт $\alpha$, имеющий $k$ различных исходов, другим опытом $\alpha_N$, состоящим в $N$-кратном повторении (при одинаковых условиях) опыта $\alpha$. Число различных исходов этого последнего опыта будет равно $k^N$; эти $k^N$ исходов мы получим комбинируя $k$ возможных исходов первого выполнения опыта $\alpha$ с $k$ возможными исходами второго выполнения, $k$ исходами третьего выполнения и т. д. вплоть до $k$ исходов $N$-го выполнения $\alpha$. Поэтому степень неопределенности опыта $\alpha_N$ по Хартли равна $\log k^N = N\log k$, что снова приводит к выражению $\log k$ для степени неопределенности опыта $\alpha$ (ибо естественно считать, что степень неопределенности опыта, состоящего в $N$-кратном повторении $\alpha$, должна быть ровно в $N$ раз больше степени неопределенности $\alpha$; ср. аналогичное рассуждение на стр. 69).

http://www.e-reading.by/djvureader.php/ ... aciya.html

[Mihaylo]

Извините, не дописал цитату. Далее следует читать по ссылке.

[Евгений Машеров]

Это рассуждение показывает, что одна формула другую не опровергает, а лишь уточняет границы применимости. То есть если все вероятности равны, то формула Хартли даёт тот же результат, что и Шеннона, а если приблизительно равны, то приблизительно тот же.
При этом у Хартли были основания принимать вероятности равными, поскольку это вероятности букв в телеграфной передаче, и, хотя в естественном языке вероятности различны, тут работает два "выравнивающих" фактора:
- для каблограмм было принято использовать кодовые книги. в которых слова и даже сложные понятия кодировались произвольными последовательностями букв;
- после изобретения в 1917 метода шифрования "гаммирование", состоявшего в "исключающем ИЛИ" передаваемой последовательности с некоторой псевдослучайной (на другом конце была копия перфоленты с кодовой последовательностью, и повторное XOR восстанавливало передаваемую) комбинации, передаваемые по кабелю, можно было считать равновероятными.
Шеннон рассмотрел более общий случай, с произвольными вероятностями, в частном равновероятном дающую тот же результат.

[Mihaylo]

Евгений Машеров писал(а):

Шеннон рассмотрел более общий случай, с произвольными вероятностями, в частном равновероятном дающую тот же результат.

Вот это суждение следует подвергнуть жесткой критике. Ничего более общего Шеннон не рассматривал, он просто родил формулу как недоказуемый постулат. Между тем можно показать, что шенноновская теория является всего лишь асимптотикой "теории Хартли" на случай повторения опытов $n$ раз, стремящемся к бесконечности. В моих рассуждениях шенноновская формула является частным случаем формулы Хартли. Мои рассуждения выходят за рамки и штампы учебников по теории информации.

[arseniiv]

Mihaylo в сообщении #1054675 писал(а):

он просто родил формулу как недоказуемый постулат

Он постулировал не формулу для информационной энтропии, а желаемые её свойства, и вывел формулу из них.

[Mihaylo]

Учебники допускают глупые ошибки. Рассмотрим пример из того учебника, ссылку на который я уже приводил. Я приводил ссылку на с. 81, другой интересный пример рассматривается чуть ранее на с. 80.

Цитата:

Использование величины $H(\alpha)$ в качестве меры неопределенности опыта $\alpha$ оказывается очень удобным для весьма многих целей; раскрытию этого обстоятельства и посвящена, в основном, последующая часть книги. Следует, однако, иметь в виду, что мера Шеннона, как и мера Хартли, не может претендовать на полный учет всех факторов, определяющих "неопределенность опыта" в любом смысле, какой может встретиться в жизни. Так, например, мера $H(\alpha)$ зависит лишь от вероятностей $p(A_1), p(A_2), ..., p(A_k)$ различных исходов опыта, но вовсе не зависит от того, каковы сами эти исходы — являются ли они в некотором смысле "близкими" один к другому или очень "далекими". Поэтому наша "степень неопределенности" будет одинаковой для двух случайных величин, характеризующихся следующими таблицами вероятностей:
значения 0,9 1,0 1,1 значения -200 1 1000
вероятности $\frac{1}{4} \frac{1}{2} \frac{1}{4}$ вероятности $\frac{1}{2} \frac{1}{4} \frac{1}{4}$
или для двух методов лечения больного, один из которых приводит к полному выздоровлению в 90 случаях из 100 и к заметному улучшению состояния больного — в остальных 10 случаях, а второй также вполне успешен в 90 случаях из 100, но зато в остальных 10 случаях завершается смертельным исходом. Существенное различие между двумя опытами в этих случаях должно оцениваться совсем другими характеристиками, отличными от энтропии Шеннона.

Цитата отсюда: http://www.e-reading.by/djvureader.php/ ... aciya.html

Опровержение в защиту энтропии Шеннона (как верного следствия энтропии Хартли):
братья Яглом рассматривают информацию о полезности методов лечения, при этом не различают информацию о полезности лечения и информацию о смертельных случаях лечения. В одном и том же сообщении о полезности и о смертельности лечения содержится РАЗНОЕ количество информации. Это означает, что для разных случаев применяется разная модель. Чтобы понять парадокс, достаточно оценить количество информации о смертельности лечения в двух случаях: в первом случае 100% вероятности несмертельности - работает формула Хартли, во втором случае - 10% смертельности - работает формула Шеннона. Следовательно братья Яглом глубочайше ошибаются - никакой другой сверххарактеристики, кроме хартлиевской и шенноновской пока не требуется, достаточно правильно определять элементарные события.

Таким же образом вы ошибаетесь, когда утверждаете, что формула Хартли выводится из формулы Шеннона. Глупость! Это просто тривиализация формулы. Тривиализация рассматриваемого случая ("допустим, что события равновероятны").