Семантическая и другие виды информации

[arseniiv]

(Оффтоп)

epros в сообщении #1000852 писал(а):

Аксиоматическим признанием некоего распределения за "самое равномерное" (или что-то в этом роде).

Так нету же его. Точнее, на прямой-то принципом максимума энтропии можно получить нормальное распределение, но не вообще, а для данных $\mu,\sigma$. На полупрямой необходим только один параметр. И только на отрезке, о чудо, параметры не нужны и распределение единственно. Но вы и так всё это знаете, наверно, а кроме банальностей мне здесь сказать нечего.

[epros]

arseniiv в сообщении #1000870 писал(а):

И только на отрезке, о чудо, параметры не нужны и распределение единственно.

Самое интересное, что единственность того, что кажется единственным на отрезке, тоже очень сомнительна. Например, вот есть у нас переменная $x \in [0,1]$. Казалось бы, равномерное распределение очевидно. А если мы вдруг захотим перейти к переменной $y=x^2$, так на ней это равномерное распределение превращается в неравномерное, а равномерным оказывается совсем другое. И ввиду взаимно однозначного соответствия между этими переменными вопрос о том, какое из распределений является "истинно равномерным", приобретает очень интересное звучание.

[AlexDem]

AGu в сообщении #1000786 писал(а):

Вроде, поможет. Фактически речь идет о познании объектов методом проверки гипотез. Ну вот, я формулирую очень пространную гипотезу, что данный объект устроен так-то и так-то и никак иначе, перечисляю все мыслимые детали (их ведь конечное число, так что это в принципе возможно), излагаю все это в нескольких миллионах книжных томов, и спрашиваю оракула, соответствует ли моя гипотеза действительности. Получив в ответ «да», я испускаю дух.

Да Вы оптимист, батенька
А если получите "Нет", то что будете делать?
Наверное, моя формулировка несколько косячная, там нужно добавить словечко "гарантированно".

[AGu]

AlexDem в сообщении #1000934 писал(а):

там нужно добавить словечко "гарантированно".

Во-во, я как раз об этом. Подозрительно простое определение. Там явно не хватает важных деталей. И соответствующая формализация будет нетривиальная. Недаром тут теорвер с матстатом рулит умами.

[AlexDem]

AGu, а такое чем плохо:

Цитата:

Минимальное количество вопросов вида "Да/Нет", гарантированно позволяющее узнать всё об интересующем объекте.

?

Пусть у нас есть ящик, в котором лежит число от $1$ до $N$. Можно, конечно, задавать вопросы "А равно ли это число $1$?", потом $2$, $3$... Количество вопросов будет $N$. А можно задавать "Больше ли это число, чем $N/2$?" - и таких вопросов придётся задать меньше, всего $\log_2 N$. За меньшее количество вопросов гарантированно узнать число в ящике не удастся.

[arseniiv]

epros в сообщении #1000920 писал(а):

А если мы вдруг захотим перейти к переменной $y=x^2$, так на ней это равномерное распределение превращается в неравномерное, а равномерным оказывается совсем другое.

Переменные могут завести не туда. Им соответствует не одна ситуация в зависимости от того, какую мы назовём независимой. Будут две случайные величины, одна из которых равномерно распределена на $[0;1]$, а другая — её квадрат или корень, и «равномерность» никак не изменится от наших взглядов на переменные — либо данная величина равномерно распределена, либо нет, и, каков бы ни был ответ, он навсегда одинаковый, т. к. ему не от чего зависеть кроме закона распределения величины.

[epros]

arseniiv в сообщении #1000951 писал(а):

каков бы ни был ответ, он навсегда одинаковый, т. к. ему не от чего зависеть кроме закона распределения величины.

А каков ответ на вопрос, какому из этих распределений соответствует максимум энтропии?

[arseniiv]

Равномерному, ибо оно единственно на фиксированном носителе, если существует.

[epros]

arseniiv в сообщении #1000998 писал(а):

Равномерному, ибо оно единственно на фиксированном носителе, если существует.

Как это два эквивалентных описания одного и того же состояния могут обладать: одно -- максимальной энтропией, а другое -- нет? Существование биекции ведь означает, что это -- просто разные способы описания одного и того же состояния объекта.

[eugrita]

Вы затронули фактически вопрос мат статистики о распознавании вида и параметров распределения по выборке.
В основе байесовского подхода лежат ошибки 1 2 рода. Но не помню, чтобы при описании этих задач там явно участвовала бы энтропия. Интересно было бы разобраться в случаях
а)выбора конкретной гипотезы о виде ф.р. из конечного множества альтернатив
б)бесконечного множества
в)оценки параметров при известном распределении
Какое там изменение энтропии

-- Вт апр 07, 2015 11:54:50 --

eugrita в сообщении #1000367 писал(а):

epros в сообщении #1000162 писал(а):

Опять "многа букафф" и в основном -- всё какая-то ерундень. Хотя вопрос в целом яйца выеденного не стОит.

Да вопрос очень широк. Но вызван он стремлением информатики объять необъятное.
Я просто констатирую если информатика хочет объяснять мир с позиций оценки количества информации, то при реализации этого
придется столкнуться с очень разными задачами. А если их не обсуждать ,то будут лишь ярлыки типа "Семантический подход" или т.п. вроде как на концерте объявят заголовок пьесы и не сыграют

[epros]

eugrita в сообщении #1001135 писал(а):

если информатика хочет объяснять мир с позиций оценки количества информации, то при реализации этого
придется столкнуться с очень разными задачами.

Отнюдь. Как раз для "оценки количества информации" нужно всего лишь применить известную меру к распределению вероятностей. И известно, что любое описание любой предметной области так или иначе приводится к распределению вероятностей на некоем множестве альтернатив.

А вот если Вам нужны другие меры, например, достоверность или рыночная стоимость информации, то это уже другой разговор.

[arseniiv]

epros в сообщении #1001125 писал(а):

Как это два эквивалентных описания одного и того же состояния могут обладать: одно -- максимальной энтропией, а другое -- нет? Существование биекции ведь означает, что это -- просто разные способы описания одного и того же состояния объекта.

Распишите аккуратнее, что именно делаете — и станет видно, что не так.

[epros]

arseniiv в сообщении #1001189 писал(а):

epros в сообщении #1001125 писал(а):

это -- просто разные способы описания одного и того же состояния объекта.

Распишите аккуратнее, что именно делаете — и станет видно, что не так.

Ну вот пример: Есть склад лампочек (миллионы штук) потребляемой мощностью от 10 до 1000 ватт, все -- для сети 220 вольт. Больше мы априорно про них ничего не знаем (т.е. никто нам не сообщил каково распределение лампочек по мощностям). Некто наугад достаёт лампочку со склада и сообщает нам, что её потребляемая мощность лежит в диапазоне от 100 до 200 ватт. Какое количество информации мы получили с этим сообщением?

[arseniiv]

epros в сообщении #1001195 писал(а):

Некто наугад достаёт лампочку со склада и сообщает нам, что её потребляемая мощность лежит в диапазоне от 100 до 200 ватт. Какое количество информации мы получили с этим сообщением?

Я как раз нашёл ту штуку, Kullback—Leibler divergence $D_{KL}(\mu\parallel\nu) = \int \log\dfrac{d\mu}{d\nu}d\mu$, где $\mu,\nu$ — вероятностные меры на одном и том же множестве; $\mu$ абсолютно непрерывна по отношению к $\nu$. В частности, для непрерывных случайных величин $\xi,\eta$ на $X$ с плотностями $f_\xi,f_\eta$ это будет $\int_X f_\xi(x)\log\dfrac{f_\xi(x)}{f_\eta(x)}\,dx$, так что в вашем примере она будет равна в битах $\frac BA\log_2\frac BA$, где $B = (1000-10)\,\text{Вт}$, $A = (200-100)\,\text{Вт}$, если распределения предположить равномерными. Примечательно, что величина зависит только от $B/A$.

-- Ср апр 08, 2015 00:55:03 --

Чего-то ерунда насчиталась. Должно быть $\log_2\frac BA$ — и тут даже с интуицией начинает сходиться.

[eugrita]

Кто ищет-тот найдет -нашел статью в научном журнале непросто написанную
КОЛИЧЕСТВЕННАЯ МЕРА ИНФОРМАЦИИ В СТАТИСТИЧЕСКОЙ ОБРАБОТКЕ ОПЫТНЫХ ДАННЫХ
http://sciencejournal.sstu.ru/sites/default/files/24_0.pdf
т е ответ на мой интерес к попытке применения энтропии в задачах статистич проверки гипотез
там формулы для энтропий теоретических непрерывных распределений. Когда я учился - была конечно теор вер и какая-то мат.статистика, но информатики как науки- не давали. Можно ли как-то теперь при изложении теор вер или статистики
проложить мостик между ними и теорией информации? Считать интегралы студентам мехмата и МВТУ -не привыкать