Семантическая и другие виды информации

[arseniiv]

danko 2013 в сообщении #1022088 писал(а):

Как это понимать?

Аккуратно понимать, не производя не определённых операций. Например, умножение на два. Кстати, добавив ещё одну лампочку, вы стали говорить уже о другой случайной величине — паре одинаково распределённых случайных величин.

danko 2013 в сообщении #1022088 писал(а):

И такой вопрос. Предположим, я хочу получить информацию о личном составе конкурирующей организации.
По условию задачи любую информацию об объекте я могу получить только в результате личного взаимодействия с ним.
Своеобразие объекта таково, что в результате единичного контакта может быть получена информация только об одном лице.
Информация о каждом лице может быть выражена в двоичном коде.

Скажите, как соотносится количество информации об объекте после первого контакта с количеством информации об объекте после последнего контакта (получения полной информации о личном составе).

Как-то это недоопределено.

[epros]

danko 2013 в сообщении #1022088 писал(а):

Пусть так, я получил бесконечное количество информации о складе, получив сообщение о первой лампочке.
Вслед за первым сообщением я принимаю следующее: извлечена лампочка мощностью 50 Вт. Количество полученной информации опять бесконечное.

С практической точки зрения я бы сказал, что при такой постановке задачи доверие к сообщению №1, как и доверие к сообщению №2 должно быть принято за нуль. Поэтому количество полученной информации правильнее посчитать за нуль. Однако с формальной точки зрения, если доверие к сообщениям принимается за стопроцентное, количество полученной информации действительно бесконечно.

[danko 2013]

epros в сообщении #1022329 писал(а):

danko 2013 в сообщении #1022088 писал(а):

Пусть так, я получил бесконечное количество информации о складе, получив сообщение о первой лампочке.
Вслед за первым сообщением я принимаю следующее: извлечена лампочка мощностью 50 Вт. Количество полученной информации опять бесконечное.

С практической точки зрения я бы сказал, что при такой постановке задачи доверие к сообщению №1, как и доверие к сообщению №2 должно быть принято за нуль. Поэтому количество полученной информации правильнее посчитать за нуль.

Пожалуйста, продолжим разбор задачи.
Допустим для простоты рассуждений, что я сам случайным образом вытаскиваю из склада лампочки. И безошибочно (самому себе я доверяю абсолютно) узнаю об их мощности.
От arseniiv я узнал, что после первой выборки из склада лампы
100 Вт я получил бесконечное количество информации. В моём (обыденном) понимании в результате первого акта взаимодействия со складом я кое-что узнал о складе (получил лишь некоторую информацию).

Но далее epros мне сообщил, что после второй выборки из склада лампы 50 Вт общее количество информации, которое я получил о складе, стало равно нулю. То есть, я, имея достоверные сведения о двух товарных позициях, не имею никакой информации о содержании склада.
Должен признать, что такие выводы представляются моему обыденному сознанию абсурдными.
Тем не менее, прошу пояснить, как с точки зрения epros и arseniiv будет меняться общее количество полученной мной информации по мере совершения последующих актов взаимодействия со складом вплоть до выборки последней 1000-ной лампы.

epros в сообщении #1022329 писал(а):

Однако с формальной точки зрения, если доверие к сообщениям принимается за стопроцентное, количество полученной информации действительно бесконечно.

Хорошо, пусть по условию задачи информация о каждом контакте со складом абсолютно достоверна.
Тогда, по логике ваших с arseniiv высказываний, количество общей информации, полученной по мере контактов с объектом (складом) будет бесконечно. То есть, я шаг за шагом (лампу за лампой) получаю информацию о складе, а общее количество информации не меняется?

Я правильно понял то, что Вы здесь сообщили? Если не трудно, дайте более детальное разъяснение моих недоразумений.

[arseniiv]

danko 2013 в сообщении #1022531 писал(а):

Должен признать, что такие выводы представляются моему обыденному сознанию абсурдными.

Надеюсь, не более абсурдными, чем то, что вероятность принятия непрерывной случайной величиной какого-нибудь значения равна нулю, и что для представления вещественного числа цифрами конечной их последовательности никогда не хватит. Ноги у бесконечного количества информации растут отсюда.

danko 2013 в сообщении #1022531 писал(а):

Тем не менее, прошу пояснить

Очевидно, судьба бесконечностей будет зависеть от того, сколько и каких мы их навведём. Каких — имеется в виду, какие над ними можно будет делать вещи (складывать? умножать? вычитать?). Если, например, их вычитать нельзя, то и изменение количества информации тоже узнать будет нельзя. А если нужно вычитание, придётся вводить кучу всякого разного, и не уверен, что оправдывающего желание сделать вопрос корректным.

Было бы приятно узнать, чем вызваны ваши вопросы и почему вы не хотите сначала спросить о конечных вещах.

[epros]

danko 2013 в сообщении #1022531 писал(а):

Если не трудно, дайте более детальное разъяснение моих недоразумений.

Ваше "недоразумение" заключается в том, что Вы без раздумий принимаете сообщение о том, что мощность лампочки составляет в точности 100 ватт, за абсолютно достоверное. Разумный человек никогда не поверит в то, что информатор располагает абсолютно точным измерителем мощности. Поэтому, получив подобное сообщение, он наверняка придёт к выводу, что доверять информатору не стоит.

[danko 2013]

epros в сообщении #1022607 писал(а):

Ваше "недоразумение" заключается в том, что Вы без раздумий принимаете сообщение о том, что мощность лампочки составляет в точности 100 ватт, за абсолютно достоверное. Разумный человек никогда не поверит в то, что информатор располагает абсолютно точным измерителем мощности. Поэтому, получив подобное сообщение, он наверняка придёт к выводу, что доверять информатору не стоит.

Хорошо, снимем неопределённость измерения мощности и проблему доверия информатору. Я сам себе информатор и значение величины мощности указано на штампе завода-изготовителя. Кроме того, уточняем условие задачи так, что нас интересует информация не о мощности ламп в физическом смысле, а об обозначении на штампе. То есть я исследую объект (склад) через ряд последовательных контактов-взаимодействий с целью получить информацию о складе: сколько ламп со штампом 1 Вт, сколько - со штампом 10 вт, и так далее до последней лампы.

Делать акцент на информации о точной мощности вообще не имеет смысла. Это не принципиально, ведь мы может исследовать склад с другими вещами. Скажем, там находятся монеты с точным номиналом 1 коп, 2 коп, 3 коп, 4 коп и т.д.

Так вот, прошу пояснить, как с Вашей точки зрения будет меняться общее количество полученной мной информации по мере совершения последующих актов взаимодействия со складом вплоть до выборки последней 1000-ной лампы (монеты).
До начала взаимодействия количество информации о складе равно нулю.
После первого контакта количество информации увеличится, я думаю.
После обнаружения последней лампы (монеты) я буду обладать полной информацией о содержании склада.
Полная информация об объекте (хотя бы в части одного параметра), по обыденной логике, в количественном отношении больше, чем частная информация по этому же параметру. Но это вывод на основании моих обыденных представлений.
Хотелось бы знать, как будет изменяться количество информации с научной точки зрения. И как это будет исчисляться в битах?

arseniiv, мои вопросы вызваны тем, что Ваши высказывания о количестве информации не укладываются в мои представления по этому вопросу. Задавая вопросы, я пытаюсь выяснить, что Вы подразумеваете под понятием "информация" такого, что приводит, по моим представлениям, к странным (противоречивым) выводам. Прошу извинить за то, что пристал с расспросами.
Но хотелось бы разобраться. Просто ответьте на вопросы. И посоветуйте литературу для ликбеза.

[arseniiv]

danko 2013 в сообщении #1022666 писал(а):

и значение величины мощности указано на штампе завода-изготовителя

Если продолжать линию epros, завод не может гарантировать бесконечную точность значения этой величины, будь он даже построен честными до глубины души роботами. См. замечание о вещественном числе, хотя проблемы с точностью оборудования этому аргументу сыграть роль не дадут.

danko 2013 в сообщении #1022666 писал(а):

Делать акцент на информации о точной мощности вообще не имеет смысла. Это не принципиально, ведь мы может исследовать склад с другими вещами. Скажем, там находятся монеты с точным номиналом 1 коп, 2 коп, 3 коп, 4 коп и т.д.

Если разных значений у случайной величины не более чем счётное количество, то вероятность появления каждого из них может быть ненулевой, и бесконечного количества информации не будет. С несчётнозначными величинами (типа непрерывно распределённых на отрезке) такой фокус не пройдёт.

danko 2013 в сообщении #1022666 писал(а):

мои вопросы вызваны тем, что Ваши высказывания о количестве информации не укладываются в мои представления по этому вопросу. Задавая вопросы, я пытаюсь выяснить, что Вы подразумеваете под понятием "информация" такого, что приводит, по моим представлениям, к странным (противоречивым) выводам.

Так почитайте, что постулируют для количества информации (важно, что именно количества информации, а не просто информации). Постулаты появляются с первой же работы (Шеннона) об этой штуке, насколько наслышан. Лучше разобраться с ними, а остальное выводится. Ну, с поправками на обсуждавшееся в этой теме ранее.

И, надеюсь, вы знаете основы теории вероятностей. Иначе совершенно неудивительно, почему неясно.

danko 2013 в сообщении #1022666 писал(а):

Но хотелось бы разобраться.

Не, всё прекрасно. Просто вы зачем-то решили прыгать сразу с самой высокой вышки.

[Mihaylo]

epros в сообщении #1001195 писал(а):

Ну вот пример: Есть склад лампочек (миллионы штук) потребляемой мощностью от 10 до 1000 ватт, все -- для сети 220 вольт. Больше мы априорно про них ничего не знаем (т.е. никто нам не сообщил каково распределение лампочек по мощностям). Некто наугад достаёт лампочку со склада и сообщает нам, что её потребляемая мощность лежит в диапазоне от 100 до 200 ватт. Какое количество информации мы получили с этим сообщением?

Мой ответ следующий. Как известно, потребляемая мощность является следствием приложения напряжения 220 В к лампочке с неизвестным сопротивлением $R$, т.е. $P=f(U,R)$. Соответственно величина сопротивления будет равномерно распределена, а мощности - неравномерно. Таким образом все определяется физическими и другими причинно-следственными связями между переменными. С точки зрения чистой абстрактной математики задача действительно неоднозначно решаема.
Для сравнения введите дополнительное условие: значение сопротивления спирали лампочки является функцией сечения спирали $S$ при известных $\rho$ и $l$, сечение строго равномерное по длине. Как быть тут?

[epros]

Mihaylo в сообщении #1054935 писал(а):

Соответственно величина сопротивления будет равномерно распределена, а мощности - неравномерно.

Это почему? А может распределение по мощностям должно быть равномерным? А может -- распределение по квадратам сопротивлений?

Mihaylo в сообщении #1054935 писал(а):

Таким образом все определяется физическими и другими причинно-следственными связями между переменными.

Чем, чем?

Mihaylo в сообщении #1054935 писал(а):

Для сравнения введите дополнительное условие: значение сопротивления спирали лампочки является функцией сечения спирали $S$ при известных $\rho$ и $l$, сечение строго равномерное по длине.

Не знаю ничего ни про какие спирали. Знаю только, что все лампочки предназначены для сети 220 Вольт, а значит их потребляемая мощность связана с сопротивлением формулой $P=\frac{220^2}{R}$.

[Mihaylo]

Хорошо, возьмите другой пример - функция Хевисайда $y=sign(x)$, где $x\in[-2,+2]$. Специально выбрана функция, необратимая во многих точках. Поднимается рука взять равномерно распределенной величину $y$?

-- 19.09.2015, 18:57 --

epros писал(а):

Чем, чем?

Все так и есть. У Вас должна быть физическая модель со входами и выходами. Именно входы принимаются равномерно распределенными, а промежуточные и выходные переменные распределяются в зависимости от распределения входных.

[epros]

Mihaylo в сообщении #1054946 писал(а):

Хорошо, возьмите другой пример - функция Хевисайда $y=sign(x)$, где $x\in[-2,+2]$. Специально выбрана функция, необратимая во многих точках. Поднимается рука взять равномерно распределенной величину $y$?

Это я уж не знаю. Как определим задачу, на то "рука и поднимется". Вот Вы для распределения по лампочкам предлагаете какие-то "физические и другие причинно-следственные связи". А почему не социальные и экономические? Например, я знаю, что лампочки около 60 Ватт и около 100 Ватт в нашем обществе достаточно широко употребимы, а лампочки около 737.12 Ватт -- большая редкость. Зато Вы знаете что-то про устройство спиралей (забыв, очевидно, что сейчас уже газоразрядные лампочки встречаются чаще лампочек накаливания). Видите, какая разная у нас с Вами априорная информация о лампочках. А как мы определим априорную информацию, такое у нас в задаче и получится "состояние с максимальной энтропией".

[Mihaylo]

epros писал(а):

А почему не социальные и экономические?

Ну если Вы найдете и определите такие связи между переменными задачи, то пожалуйста - будут и экономические и социальные. Я таких связей намеренно не искал, чтобы не усложнять модель. Хотя, если копнуть, то можно реально эти связи обнаружить, например, в нашем социуме принято действительно округлять номинальные величины до 1, 5 или 10. Например, можно предположить множество 5, 10, 15, 20, 25, ..., 1000 Вт. Это, сами понимаете, довольно мощная эвристика. Но из контекста задачи вроде как сильно намекалось - не усложнять модель никакими эвристиками.

epros писал(а):

Например, я знаю, что лампочки около 60 Ватт и около 100 Ватт в нашем обществе достаточно широко употребимы, а лампочки около 737.12 Ватт -- большая редкость. Зато Вы знаете что-то про устройство спиралей (забыв, очевидно, что сейчас уже газоразрядные лампочки встречаются чаще лампочек накаливания). Видите, какая разная у нас с Вами априорная информация о лампочках. А как мы определим априорную информацию, такое у нас в задаче и получится "состояние с максимальной энтропией".

Независимо от того, является ли лампа светодиодной или накаливания, задача о равномерности распределения решается одинаково и однозначно (моя точка зрения). Я правильно понял, что по Вашему мнению, данная задача имеет множество решений? Также как и про функцию Хевисайда?
Что касается параметров спирали - это уже другая задача, которую я сам придумал. По условию той задачи лампа точно является лампой Ильича и у нее есть спираль и что эта спираль вольфрамовая, да еще сечение равномерное по длине, длина известна...

-- 19.09.2015, 19:58 --

Что такое "состояние с максимальной энтропией"? Интересно, я не очень понимаю глубинный смысл.

[epros]

Mihaylo в сообщении #1054967 писал(а):

Но из контекста задачи вроде как сильно намекалось - не усложнять модель никакими эвристиками.

Откуда-то априорное распределение всё равно придётся брать.

Mihaylo в сообщении #1054967 писал(а):

Независимо от того, является ли лампа светодиодной или накаливания, задача о равномерности распределения решается одинаково и однозначно (моя точка зрения). Я правильно понял, что по Вашему мнению, данная задача имеет множество решений?

Не вижу никакой однозначности. Пока априорное распределение не определено, нет однозначности и в задаче.

Mihaylo в сообщении #1054967 писал(а):

Что такое "состояние с максимальной энтропией"? Интересно, я не очень понимаю глубинный смысл.

Максимум меры Шеннона.

[Mihaylo]

epros писал(а):

Максимум меры Шеннона.

Ну вроде все понятно, значит $H$ и $N$ максимальны. А чему они равны в случае лампочек?

[epros]

Mihaylo в сообщении #1054989 писал(а):

А чему они равны в случае лампочек?

Я же говорю: В случае бесконечного множества возможных исходов понятие "равномерного распределения" придётся доопределять, ибо оно зависит от произвольного выбора той переменной, для которой оно должно быть равномерным. А мера Шеннона для случая бесконечного множества определяется относительно уже выбранной переменной.

Т.е. мы делаем так: 1) Берём имеющиеся у нас априорные предположения о том, какие лампочки бывают (т.е. учитываем "часто встречающиеся 100 Ватт" и т.п.). 2) Переходим к такой переменой, в которой данное априорное распределение равномерно. 3) Относительно этой переменной записываем и вычисляем тот интеграл, который определяет меру Шеннона апостериорного распределения, и таким образом узнаём, какое количество информации нам принесло соответствующее сообщение.