Семантическая и другие виды информации

[Mihaylo]

Давайте рассмотрим функцию Хевисайда $y=sign(x)$, где $x\in[0,1]$. Согласитесь, по информативности эта функция мало отличается от функции $y=1$, которая особенна тем, что полностью определена.

Все-таки сведения о функции вносят неравномерность распределения вероятности в переменную-функцию $y$, но не в аргумент $x$. Покиньте аксиоматическую и абстрактную математику, обратных функций в жизни не бывает, время не течет вспять. Информация о функции $f$ - это есть информация о функции $y$.

Если же принять, что $y$ распределен равномерно, то тогда $x=0$ в каждом втором случае. Это нелогично!

[epros]

Mihaylo в сообщении #1055100 писал(а):

Если же принять, что $y$ распределен равномерно, то тогда $x=0$ в каждом втором случае. Это нелогично!

Откуда Вы берёте эту "логику"? Может ли оказаться так, что каждая вторая лампочка окажется ровно 100 Ватт при измерении со всей доступной нам точностью? Конечно может. И никакая логика тут ни при чём, просто предметная область так устроена, и все дела.

[Mihaylo]

Принцип равновероятности вытекает из принципа симметричности: "если исходы события во всех отношениях симметричны, то значит они равновероятны". Являются ли значения функции 0 и 1 симметричными? Ответ - нет. Функция $y=sign(x)$ вносит несимметрию.

[epros]

Mihaylo в сообщении #1055141 писал(а):

Принцип равновероятности вытекает из принципа симметричности

Пустая философия. Вероятность 50% может вытекать из чего угодно. Вы уж извините, но на таком уровне обсуждение становится неинтересным.

[Mihaylo]

Эту философию придумал не я, а сам Лаплас, см. принцип индифферентности (принцип недостаточного основания).

[epros]

Вы с Гюйгенсом не перепутали? Это он, вроде, придумал "расчёты при игре в кости", которые были основаны на предположении о равновероятности выпадения кости любой гранью. Нынче это называется "классическим определением вероятности" и давно уже считается недостаточным.

[Mihaylo]

Нет, согласно всем источникам, равновероятность - это заслуга Байеса (конец 18-го века) и Лапласа (начало 19-го века).

[epros]

Вот здесь приведена некая хронология, из которой видно, что Гюйгенс, а также Ферма и Паскаль были задолго до Лапласа. И уже тогда равновероятность активно использовалась в расчётах.

[Mihaylo]

Цитата:

Ранее математики чаще всего оперировали самим количеством исходов; историки полагают, что замена количества на «частоту» (то есть деление на общее количество исходов) была стимулирована статистическими соображениями: частота, в отличие от количества, обычно имеет тенденцию к стабилизации при увеличении числа наблюдений. Определение вероятности «по Бернулли» сразу стало общепринятым, его воспроизводили Абрахам де Муавр в книге «Учение о случаях» (1718) и все последующие математики. Единственное важное уточнение — о том, что все «элементарные исходы» обязаны быть равновероятны, — сделал Пьер-Симон Лаплас в 1812 году. Если для события невозможно подсчитать классическую вероятность (например, из-за отсутствия возможности выделить равновероятные исходы), то Бернулли предложил использовать статистический подход, то есть оценить вероятность по результатам наблюдений этого события или связанных с ним.

Ну, мне кажется, автор хотел сказать

Цитата:

Единственное важное уточнение — о том, что все «элементарные исходы» обязаны быть равновероятны индифферентны, — сделал Пьер-Симон Лаплас в 1812 году.

[epros]

Mihaylo в сообщении #1055561 писал(а):

Ну, мне кажется, автор хотел сказать

Цитата:

Единственное важное уточнение — о том, что все «элементарные исходы» обязаны быть равновероятны индифферентны, — сделал Пьер-Симон Лаплас в 1812 году.

А мне кажется, что мы сейчас какой-то ерундой занимаемся. Гюйгенс в своей пионерской работе на практике использовал симметричность игральной кости (хотя на самом деле никакой симметричности нет -- циферки всё же на гранях разные выбиты). Может быть Лаплас потом и делал какие-то "важные уточнения" и даже может быть подвёл под это какую-то философию. Но в любом случае ценность этой философии нынче близка к нулю, ибо сегодня все понимают, что "элементарные исходы" (которые должны быть равновероятны) во многих случаях придётся определять совершенно произвольным образом.

[Mihaylo]

epros писал(а):

Но в любом случае ценность этой философии нынче близка к нулю, ибо сегодня все понимают, что "элементарные исходы" (которые должны быть равновероятны) во многих случаях придётся определять совершенно произвольным образом.

Укажите на какой-нибудь учебник, где описывается парадокс. Этот парадокс очень деструктивный, не верю...

Мне больше нравится Ваше утверждение, которое Вы сделали в начале темы:

epros в сообщении #1000427 писал(а):

Для расчёта количества любой информации ("смысловой" -- обычно говорят "полезной", или "полной", или иной) используют одну и ту же меру Шеннона. Разница только в ограничениях, накладываемых на множество возможных сообщений.

Вы разве учебников по теории информации не читали, там пишут о необходимости надшенноновской меры, возможно не одной... Когда мне говорят, "иди почитай учебники", "тебе учебники ничего нового не дали?" - я это воспринимаю как попытку зомбирования.

Вот, например, в учебнике Вероятность и информация - А. М. Яглом, И. М. Яглом (2007) на странице 80 делают следующий вывод (ссылка).

Цитата:

Существенное различие между двумя опытами в этих случаях должно оцениваться совсем другими характеристиками, отличными от энтропии Шеннона.

Я уже писал об этом (ссылка).

Очень многие (Бриллюэн и др.) заявляют о том, что якобы мера Шеннона пригодна только для синтаксической информации... И все поголовно ищут меры семантической и прагматической информации, тыкая в произвольные логарифмы и прочие соотношения, надеясь получить новую жемчужину. Если бы не учебники, топик-стартер не задавал бы вопрос на форуме.

eugrita в сообщении #999867 писал(а):

Как-то неудачно преподают ее что-ли. Во всех практически учебниках информатики в разделе семантической информации грубо говоря излагается 3 факта
<...>
Не говоря уже о том что при таких расплывчатых определениях ни мне уже около 10 лет пытающегося учиться и преподавать информатику ни другим невозможно понять точное определение этого, ни тем более закрепить его на примерах. (т к примеров расчета столь полезных для закрепления понятий в других областях наук просто не существует).

Меня тоже эта ситуация не устраивает.

[Mihaylo]

Я немного порылся в википедии:
https://ru.wikipedia.org/wiki/Аксиоматика_Колмогорова

Цитата:

Совокупность объектов ($\Omega, \mathcal{F}, \mathbf{P}$), удовлетворяющая аксиомам I—IV, называется вероятностным пространством (у Колмогорова: поле вероятностей).

Система аксиом I—IV непротиворечива. Это показывает следующий пример: $~\Omega$ состоит из единственного элемента $~\omega, \mathcal{F}$ — из $~\Omega$ и множества невозможных событий (пустого множества) $\varnothing$, при этом положено $\mathbf{P}(\Omega)=1$, $\mathbf{P}(\varnothing)=0$. Однако эта система аксиом не является полной: в разных вопросах теории вероятностей рассматриваются различные вероятностные пространства.

Цитата:

Некоторые учёные не согласны с тем, что Колмогоров сделал теорию вероятностей аксиоматической теорией. Их доводы:
- Вероятность — это понятие реального мира, поэтому её невозможно аксиоматизировать, можно только построить математическую модель. Например, так же невозможно аксиоматизировать понятие «мост», что не мешает рассчитывать мосты на прочность, строя математические модели, со свойствами похожими на настоящие мосты.
- Утверждают, что аксиоматика Колмогорова не вводит ни одного нового «базового понятия» (неопределяемого, как точка или прямая). А значит, она является лишь определением: «Вероятность — это такая ограниченная мера, что $\operatorname P (\Omega)=1$». При этом аксиоматику Колмогорова они называют «моделью Колмогорова». Иногда приводятся альтернативные модели теории вероятностей.

В общем получается Вы, epros, приверженец аксиоматической теории Колмогорова. Я же считаю, что все эти вещи $+$ основные законы теории вероятности выводятся исключительно с использованием комбинаторных отношений. В этом разница наших взглядов. Плюс еще учет причинно-следственных связей (принцип индифферентности Лапласа) при выборе пространства элементарных событий - это как бы дополнительная аксиома (раз уж так повелось).

[dsge]

В английском варианте
https://en.wikipedia.org/wiki/Probability_axioms
этот бред отсутствует

Цитата:

Вероятность — это понятие реального мира, поэтому её невозможно аксиоматизировать, можно только построить математическую модель. Например, так же невозможно аксиоматизировать понятие «мост», что не мешает рассчитывать мосты на прочность, строя математические модели, со свойствами похожими на настоящие мосты.
- Утверждают, что аксиоматика Колмогорова не вводит ни одного нового «базового понятия» (неопределяемого, как точка или прямая). А значит, она является лишь определением: «Вероятность — это такая ограниченная мера, что $\operatorname P (\Omega)=1$».

[epros]

Mihaylo в сообщении #1056830 писал(а):

Цитата:

- Вероятность — это понятие реального мира, поэтому её невозможно аксиоматизировать, можно только построить математическую модель.

Аксиоматизировать -- это и значит построить математическую модель.

Mihaylo в сообщении #1056830 писал(а):

В общем получается Вы, epros, приверженец аксиоматической теории Колмогорова. Я же считаю, что все эти вещи $+$ основные законы теории вероятности выводятся исключительно с использованием комбинаторных отношений.

"Комбинаторные отношения" -- это часть аксиоматики Колмогорова. Когда Вы на конечном $\Omega$ начнёте определять алгебру событий, вот тогда у Вас и полезут эти комбинаторные отношения.

На самом деле Ваш подход отличается только тем, что Вы закладываете дополнительную аксиому о равновероятности элементарных исходов. Что совершенно бессмысленно, если количество исходов бесконечно.

[Mihaylo]

epros в сообщении #1065378 писал(а):

Что совершенно бессмысленно, если количество исходов бесконечно.

Почему бессмысленно? Если сопротивление лампы распределено равномерно на некотором отрезке, то мощность лампы будет неравномерно распределенной из-за квадратичной зависимости.