Семантическая и другие виды информации

[epros]

arseniiv в сообщении #1001386 писал(а):

если распределения предположить равномерными.

Ага, вот именно: Если распределение по потребляемым мощностям предположить равномерным. А почему именно по ним? Может быть случаю "полного отсутствия информации" лучше соответствует равномерное распределение по сопротивлениям? Как известно, сопротивление и потребляемая мощность при заданном напряжении сети взаимно однозначно соответствуют.

[arseniiv]

Ещё раз, у нас получаются две случайные величины, зависимые определённым образом. Какую из них взять равномерно распределённой (или вообще какие распределения им выбрать) — это не предмет теорвера. Можно этот вопрос оформить в качестве статистической гипотезы и проверять, но выбор распределений для этих двух величин никак не меняет того факта, что непрерывное равномерное распределение на данном отрезке — единственное (а не несколько); аналогично с дискретным.

[epros]

arseniiv в сообщении #1001732 писал(а):

Ещё раз, у нас получаются две случайные величины, зависимые определённым образом. Какую из них взять равномерно распределённой (или вообще какие распределения им выбрать) — это не предмет теорвера.

А предмет чего? Есть практическая задача, которую предлагается решить с использованием любых подходящих инструментов -- хоть теорвера, хоть астролябии.

И факт заключается в том, что когда речь в задаче идёт о конечном множестве значений (например, о возможных состояниях байтовой ячейки памяти), то мы не задумываясь ассоциируем ситуацию "полного незнания" с равномерным распределением. Поэтому если нас спросят, какое количество информации мы получили с сообщением о значении этой ячейки, мы сразу ответим: "байт".

А когда речь в задаче идёт о потенциально бесконечном множестве значений, так поступать нельзя. Поэтому требуется какая-то дополнительная аксиоматика для того, чтобы определить, с каким именно распределением следует ассоциировать ситуацию "полного незнания".

[arseniiv]

Вообще к теорверу полное или неполное незнание никак не относятся. Разумеется, придётся явно указать, какие у нас распределения и величины и как друг с другом соотносятся. В любом случае!

Я сначала думал, что хоть как-то понимаю ваш вопрос, но теперь не понимаю явно сильнее.

-- Чт апр 09, 2015 12:45:05 --

И если никто так и не будет рваться на него ответить, то, видимо, придётся его всё-таки задать яснее.

[epros]

arseniiv в сообщении #1001893 писал(а):

придётся его всё-таки задать яснее.

Вопрос в том и заключается, чему соответствует случай полной неопределённости (или максимума энтропии) для бесконечного множества возможных альернатив. Интересно, что для примера с лампочками Вы не задумываясь выбрали равномерное распределение именно по той переменной, которая звучала в формулировке задачи. А ведь неважно в какой переменной определены условия задачи: Формулировка в терминах сопротивлений лампочек будет эквивалентна формулировке в терминах мощностей.

[arseniiv]

epros в сообщении #1001938 писал(а):

Интересно, что для примера с лампочками Вы не задумываясь выбрали равномерное распределение именно по той переменной, которая звучала в формулировке задачи.

Мне показалось, акцент был на другом, потому и.

epros в сообщении #1001938 писал(а):

Вопрос в том и заключается, чему соответствует случай полной неопределённости (или максимума энтропии) для бесконечного множества возможных альернатив.

Чему соответствует где?

[epros]

arseniiv в сообщении #1001945 писал(а):

Чему соответствует где?

В формализации постановки задачи. Например, когда задача звучит так: "Какое количество информации мы получаем в сообщении о том, что в байтовой ячейке записано 0xA?", то мы предполагаем, что априорно равновероятными являются ВСЕ возможные состояния ячейки. Что мы по умолчанию должны полагать априорно равновероятным, когда "ничего не знаем" кроме того, что состояние системы -- одно из бесконечного множества возможных?

[arseniiv]

epros в сообщении #1001970 писал(а):

то мы предполагаем, что априорно равновероятными являются ВСЕ возможные состояния ячейки

Только если ничего лучше принципа максимума энтропии не применимо.

epros в сообщении #1001970 писал(а):

Что мы по умолчанию должны полагать априорно равновероятным, когда "ничего не знаем" кроме того, что состояние системы -- одно из бесконечного множества возможных?

Как я могу сказать, что, если не дано множество этих возможных состояний? Это зависит от структуры. И тут даже принцип максимума энтропии не сработает, потому что уже нужна мера, естественной которой не оказывается.

Я думаю, ерунда из-за раннего обобщения. Сделайте всё-таки конкретный вопрос типа того о лампочках.

[epros]

arseniiv в сообщении #1001975 писал(а):

Только если ничего лучше принципа максимума энтропии не применимо.

А что может быть ещё применимо, когда неизвестно ничего, кроме множества возможностей?

arseniiv в сообщении #1001975 писал(а):

Как я могу сказать, что, если не дано множество этих возможных состояний? Это зависит от структуры.

Множество задано: Любые лампы потребляемой мощностью от 10 до 1000 Ватт. Можно сказать другими словами: Любые лампы сопротивлением от $\frac{220^2}{1000}$ до $\frac{220^2}{10}$ Ом. Но это будет то же самое множество возможных ламп. Причём тут какая-то структура?

arseniiv в сообщении #1001975 писал(а):

Я думаю, ерунда из-за раннего обобщения. Сделайте всё-таки конкретный вопрос типа того о лампочках.

Что же тут непонятного? Вопрос в том, как формализуется тот самый "максимум энтропии", о котором Вы говорили выше. Для конечного множества возможных состояний -- известен стандартный ответ, для бесконечного множества возможных состояний -- стандартного ответа нет.

[arseniiv]

Прошу простить, я невовремя заболел. Сейчас придётся долго вникать в контекст…

epros в сообщении #1001991 писал(а):

А что может быть ещё применимо, когда неизвестно ничего, кроме множества возможностей?

Ну мало ли что. Чем уже гипотезы, тем портируемее вывод.

epros в сообщении #1001991 писал(а):

Что же тут непонятного? Вопрос в том, как формализуется тот самый "максимум энтропии", о котором Вы говорили выше. Для конечного множества возможных состояний -- известен стандартный ответ, для бесконечного множества возможных состояний -- стандартного ответа нет.

Не вижу вопрос, вижу ответ на вопрос. Берём вероятностные меры на счётном, скажем, множестве; считаем $D_{KL}$ одной по другой; получается, что максимума энтропия как-то не имеет, и т. д.. Вроде; проверьте.

-- Пт апр 17, 2015 12:38:09 --

epros в сообщении #1001991 писал(а):

Множество задано: Любые лампы потребляемой мощностью от 10 до 1000 Ватт. Можно сказать другими словами: Любые лампы сопротивлением от $\frac{220^2}{1000}$ до $\frac{220^2}{10}$ Ом. Но это будет то же самое множество возможных ламп. Причём тут какая-то структура?

Ну вот у вас отрезок кривой получается, на которой есть две разные метрики (модуль разности сопротивлений и модуль разности мощностей). Как с ними обеими должны согласовываться вероятностная(ые) мера(ы) — неизвестно, т. к. единственно правильной нет. Мы можем, например, вложить этот отрезок в плоскость, на которой ещё и декартовы координаты, и каждая из двух метрик совпадает с модулем разности соответствующих координат точек. И плоскость нам индуцирует меру на отрезке, и её можно нормировать и взять как «равномерное распределение». А можно ещё всякого напридумывать и оттуда брать меру — пока объект у нас получается слишком шаткий, надо доопределять структуру, а то с существующей можно много чего делать разного, и всё не то.

[epros]

arseniiv в сообщении #1004724 писал(а):

epros в сообщении #1001991 писал(а):

Что же тут непонятного? Вопрос в том, как формализуется тот самый "максимум энтропии", о котором Вы говорили выше. Для конечного множества возможных состояний -- известен стандартный ответ, для бесконечного множества возможных состояний -- стандартного ответа нет.

Не вижу вопрос, вижу ответ на вопрос.

Вопрос: Как формализуется "максимум энтропии"? Можно уточнить так: Какой вероятностной мерой формализуется состояние с максимальной энтропией? Но в принципе, если придумаете другой способ формализации (не вероятностной мерой), то тоже сойдёт.

arseniiv в сообщении #1004724 писал(а):

Берём вероятностные меры на счётном, скажем, множестве; считаем $D_{KL}$ одной по другой; получается, что максимума энтропия как-то не имеет, и т. д.. Вроде; проверьте.

Как именно Вы будете считать энтропию для заданной на счётном множестве вероятностной меры? Как я понимаю, для этого сначала нужно выбрать ту вероятностную меру, относительно которой это будет делаться.

arseniiv в сообщении #1004724 писал(а):

А можно ещё всякого напридумывать и оттуда брать меру — пока объект у нас получается слишком шаткий, надо доопределять структуру, а то с существующей можно много чего делать разного, и всё не то.

Ну вот я об этом и говорю: Мера, которая соответствует состоянию "максимума энтропии", должна вводиться по определению, то бишь -- аксиоматически. И если для конечного множества мы можем опереться на соглашение, что таковой мерой является "количество элементов в подмножестве", то для бесконечных множеств такое соглашение не подходит.

[arseniiv]

epros в сообщении #1004742 писал(а):

то для бесконечных множеств такое соглашение не подходит

В общем случае не подходит, в частных (у нас уже есть мера и область, имеющая её конечную — тогда можем получить вероятностную на этой области) почему нет? А та мера может быть согласована с метрикой или ещё чем. А та метрика может быть и так далее. Ну да, ничего лучше сказать у меня нет…

epros в сообщении #1004742 писал(а):

Но в принципе, если придумаете другой способ формализации (не вероятностной мерой), то тоже сойдёт.

Ну, если есть другая мера, но на интересующем пространстве конечная, то ничто не мешает её нормировать — а если бесконечная, то толку от неё здесь…

-- Пт апр 17, 2015 22:47:17 --

А так да, я тут небольшой кружочек в рассуждениях устроил выше кое-где.

[danko 2013]

arseniiv в сообщении #1001386 писал(а):

epros в сообщении #1001195 писал(а):

Некто наугад достаёт лампочку со склада и сообщает нам, что её потребляемая мощность лежит в диапазоне от 100 до 200 ватт. Какое количество информации мы получили с этим сообщением?

... в вашем примере она (количество информации) будет равна в битах $\frac BA\log_2\frac BA$, где $B = (1000-10)\,\text{Вт}$, $A = (200-100)\,\text{Вт}$, если распределения предположить равномерными. Примечательно, что величина зависит только от $B/A$.

arseniiv, прошу извинить за дилетантский вопрос, но чему равно количество информации, если в сообщении будет сказано, что мощность лампочки равна 100 Вт (то есть, в обозначениях приведённой Вами формулы, $A = (0)\,\text{Вт}$)?

[arseniiv]

Если равна ровно 100 Вт, бесконечным. Это можно получить и как предел формулы в сцитированном куске.

[danko 2013]

arseniiv в сообщении #1021929 писал(а):

Если равна ровно 100 Вт, бесконечным.

Ваш ответ для меня - неожиданность. Видимо, мои обыденные представления об информации не соответствуют понятию "информация", принятому в науке.
Странно, термином мы пользуемся одним и тем же, а содержание пока не укладывается в голове.

Если позволите, уточняющий вопрос.
Пусть так, я получил бесконечное количество информации о складе, получив сообщение о первой лампочке.
Вслед за первым сообщением я принимаю следующее: извлечена лампочка мощностью 50 Вт. Количество полученной информации опять бесконечное.
Но теперь я имею информацию о двух складских позициях, то есть количество информации об объекте (складе) увеличилось вдвое.
Однако, с другой стороны, как было у меня бесконечное количество информации, так и теперь оно бесконечное. Как это понимать?
Или бесконечности отличаются по величине?

И такой вопрос. Предположим, я хочу получить информацию о личном составе конкурирующей организации.
По условию задачи любую информацию об объекте я могу получить только в результате личного взаимодействия с ним.
Своеобразие объекта таково, что в результате единичного контакта может быть получена информация только об одном лице.
Информация о каждом лице может быть выражена в двоичном коде.

Скажите, как соотносится количество информации об объекте после первого контакта с количеством информации об объекте после последнего контакта (получения полной информации о личном составе).

И какую литературу Вы можете порекомендовать по элементарным понятиям, относящимся к информации? Не очень сложную, для ликбеза...