Семантическая и другие виды информации

[eugrita]

Прошло 5 лет и опять возвращаюсь к обсуждению понятия семантической и других видов информации.
см http://dxdy.ru/topic56653.html
Ну не знаю. Как-то неудачно преподают ее что-ли. Во всех практически учебниках информатики в разделе семантической информации грубо говоря излагается 3 факта
1)семантическая информация связана с тезаурусом человека или ЭС.т.е. она индивидуальна по отношению к потребителю
2)приводится стандартный качественный (без попыток каких то- конкретных примеров аналитического описания
график зависимости количества семантической информации Ic от тезауруса пользователя Sp
(при этом каких-то попыток оценить количественно этот самый тезаурус пользователя не делается)
3)вводят Относительную меру количества семантической информации - коэф-т содержательности C,
определяя его как отношение количества семантической информации к ее объему: $C=I_c/V_d$
------------------------------------------------------------------------------------------------------------
Не говоря уже о том что при таких расплывчатых определениях ни мне уже около 10 лет пытающегося учиться и преподавать информатику ни другим невозможно понять точное определение этого, ни тем более закрепить его на примерах. (т к примеров расчета столь полезных для закрепления понятий в других областях наук просто не существует).
Привожу мнение модератора форума PAV,которого уважаю и доверяю.http://dxdy.ru/topic56653.html
"Лично я считаю данную тему бессодержательной и неинтересной.имеется система целей или задач, которые стоят перед объектом. Имеются вероятности достижения этих целей. Все, что повышает эти вероятности - это польза. Ее можно теоретически измерить..."
----------------------------------------------------------------------------------------------------------------------
Лично мне не совсем понятно еще и полная система классификации видов информации принятая в теории информациию
обычнно кратко-говорится о 3 подходах (в абзаце ниже я считаю синонимами термины Структурный (объемный) и Статистический(Энтропийный) подходы
1)Структурный (объемный) - рассм дискретное строение массивов информации и их измерение простым подсч информац элем. Объем данных $Vd$ в сообщении измеряют колич символов (разрядов) в этом сообщ
2)Статистическое направление( Энтропийный подход) -оперирует понятием энтропии как меры неопределенности,
учитывает вероятнность появл тех или иных сообщений.
3)Семантическое направление-
учитывает целесообразность, ценность или существенность информации
4)прагматический подход в основе -полезность для достижения некоторой цели
видимо в нем предлагаются меры ценности (целесообразности) А. А. Харкевича $V=P_{apost}/P_{aprior}$ (где $P_{apost},P_{aprior}$ -апостериорная и априорная (до сообщения) вероятности достижения цели. Так же подходы Карнапа, Вилькенштейна и др. см Википедию
[url]http://ru.wikipedia.org/wiki/Ценность_информации[/url]
---------------------------------------------------------------------
в отдельных случаях говорят еще об т.н. "алгоритмическом подходе" идущем может быть от Колмогорова.
Там хоть какая-то точность определений есть: "Любому сообщению можно приписать количественную характ-ку, отражающую сложность (размер) программы, ее воспроизводящей. конкретной ЭВМ, например, машиной Тьюринга. Сложность слова (сообщения) определяют как мин число внутренних состояний машины Тьюринга, требуемых для его воспроизведения.".
ОК, я не возражаю, только дайте простые примеры расчета понятные мне и школьникам.
--------------------------------------------------------------------------------------------------------------------
вопрос1) энтропийный подход
Объясните мне, чайнику. В основе энтропийного подхода лежит определение относительной информации как разности
априорной и апостериорной энтропий $I_a=H(a)-H_b (a)$т.е некот функции определяемой через вероятности. Но само понятие вероятность можно применять в разных аспектах -если вероятность появления буквы в сообщении - это алфавитный подход относящийся в классификации выше к 1) А может быть эта же самая вероятность быть применена в семантике, например в результате сообщения мы отбросили одну из нескольких гипотез о структуре объекта (уж как хотите можно считать гипотезы равновероятными или нет - это фокусы). Тогда понятие относительной информации
явно семантические. Др словами, энтропийный (вероятн-статистич) метод -не есть самостоят область а может применяться как при количественном так и семантическом подходах?

вопрос 2)Алгоритмический подход.
а)приведите примеры расчета
б)как быть если некот модели допускают несколько алгоритмов решения. Напр численные методы решения уравнений?
(в старом посте отмечал в МГУ - каф логики и теории алгоритмов" т.е. др.словами пересечение теории алгоритмов и логики в информатике видимо и есть этот самый "Алгоритмический подход" в теории информации?)

вопрос 3) Измерение информации и распознавание образов
распознавание образов считается частью искусственного интеллекта.
Только как все таки оценивать количество информации полученное в результате распознавания скажем текста?
Если распознается заведомо текст на конкр языке то не важно какой он печатный или рукописный но информационный вес букв в рамках алфавитного подхода одинаков. Никому нет дела до реальной сложности программ распознавания. Имеет значение лишь вероятности ошибочного распознавания
Опять таки, приведите пример оценки информации при решении какой-нибудь задачи распознавания

[epros]

Опять "многа букафф" и в основном -- всё какая-то ерундень. Хотя вопрос в целом яйца выеденного не стОит. В общем:

epros в сообщении #554052 писал(а):

Так что да, способы оценки информации могут быть разными. И что отсюда следует?

[eugrita]

epros в сообщении #1000162 писал(а):

Опять "многа букафф" и в основном -- всё какая-то ерундень. Хотя вопрос в целом яйца выеденного не стОит. В общем:

epros в сообщении #554052 писал(а):

Так что да, способы оценки информации могут быть разными. И что отсюда следует?

Хорошо, более понятно. В музыке интерпретация музыкального произведения может быть различной, вплоть до джазовой импровизации на основе темы. И что из этого следует? Лучше вообще никак не играть, а на сцене прочитать заголовок произведения и композитора?
всякая истина конкретна. Если уважаемые основоположники теории информации хотят чему-то научить других,
то произнося тезис А, учебник должен содержать конкретные примеры тезиса- расчет количества информации.
------------------------------------------------------------------------------------------------------------------------
2)разовью чуть свой же вопрос об "алгоритмическом подходе"
Что понимать под смысловой информацией компьютерной программы?
Целью программы расчетного типа (модель) является даже не разовый расчет с некот исх данными, а методика расчета по модели. Может быть обобщение полученных результатов в виде закономерностей. Как мерять это?
А вообще то есть и системные программы. Вообще-то они тоже например утилиты реализуют некие алгоритмы.
И что же есть смысловая информация применительно к такой программе или алгоритму?
3)по вопросу о семантическом подходе мне ближе всего попытки оценивать смысловое количество информации через семантические сети. Т.е. через какие-то характеристики семантического графа - число вершин, ребер, степень связности...Однако надо не забывать что понятия могут быть сложными, т.е. вершины сети - делиться на подвершины со своими связями

[atlakatl]

Читаем статью в Википедии "Информация". На основании её терминологии задаём вопросы.
Так лучше будет. Первый коммент ТС только ему понятен.

[epros]

eugrita в сообщении #1000367 писал(а):

Лучше вообще никак не играть, а на сцене прочитать заголовок произведения и композитора?

Да что Вы хотите-то конкретно? А то привели какую-то свалку из подходов, добрая половина и которых -- спорная, а вторая -- не новость ...

eugrita в сообщении #1000367 писал(а):

Если уважаемые основоположники теории информации хотят чему-то научить других,
то произнося тезис А, учебник должен содержать конкретные примеры тезиса- расчет количества информации.

Для расчёта "количества информации" есть признанная всем научным миром мера Шеннона (дальнейшее развитие меры Хартли). Велосипеды изобретать не нужно. Я говорил об этом в Вашей предыдущей теме.

eugrita в сообщении #1000367 писал(а):

2)разовью чуть свой же вопрос об "алгоритмическом подходе"
Что понимать под смысловой информацией компьютерной программы?
Целью программы расчетного типа (модель) является даже не разовый расчет с некот исх данными, а методика расчета по модели. Может быть обобщение полученных результатов в виде закономерностей. Как мерять это?

Об этом я тоже говорил. Для расчёта количества любой информации ("смысловой" -- обычно говорят "полезной", или "полной", или иной) используют одну и ту же меру Шеннона. Разница только в ограничениях, накладываемых на множество возможных сообщений. Если количество полной информации рассчитывается исходя из равновероятности всех символов алфавита, то количество полезной информации рассчитывается исходя из модели возможных ситуаций.

eugrita в сообщении #1000367 писал(а):

3)по вопросу о семантическом подходе мне ближе всего попытки оценивать смысловое количество информации через семантические сети. Т.е. через какие-то характеристики семантического графа - число вершин, ребер, степень связности...Однако надо не забывать что понятия могут быть сложными, т.е. вершины сети - делиться на подвершины со своими связями

Это то же самое. Неважно каким образом описывается модель возможных ситуаций -- семантической сетью, порождающей грамматикой или любым другим способом. Всё это приводится к распределению вероятностей, к которому потом применяется мера Шеннона.

[eugrita]

Ну хорошо. Наконец то я четко понял что энтропийный подход шире того что трактуют в учебниках по информатике применяя при измерении информационного объема сообщения и символов в рамках алфавитного подхода.
Все дело( в терминах epros) в виде модели возможных ситуаций.
Тем более хотелось бы видеть наконец учебники с примерами расчета изменений информации с иными моделями нежели поступающий текст. Наверное должен все-таки быть разработан подход к оценки важности некоей задачи в данной предметной области и оценки важности алгоритма или программы как доли вклада в решение полное или частичное данной задачи.
Все дело в уровне строгости при знакомстве с этим. Гуманитарий может быть и удовлетворен подобным изложением, а представителю точных наук надо подать конкретно лучше на уровне методики как принято в техн.ВУЗах

А как все же с задачами распознавания и автоматической классификации? Как построить здесь эту модель полезной информации и оценивать ее изменение на основе признанной меры Шеннона?

[eugrita]

в доказательство могу лишь сослаться на свои же попытки поиска в интернете по запросу "Информационная энтропия" или
"примеры Информационной энтропии" -ничего интересного, (в том числе включая достаточно примитивные рефераты где рассматривается энтропия вообще, в т.ч. термодинамическая) не выпадает. Убедитесь сами

[AlexDem]

eugrita в сообщении #1000704 писал(а):

А как все же с задачами распознавания и автоматической классификации? Как построить здесь эту модель полезной информации и оценивать ее изменение на основе признанной меры Шеннона?

Информация - мера устранения неопределённости. Например, минимальное количество вопросов вида "Да/Нет", позволяющее узнать всё об интересующем объекте. (Не знаю, может это было - не читал подробно Ваши темы.) Мне такой подход кажется понятным. Если Вы и так знаете всё об объекте, то новые вопросы Вам никакой информации не принесут.

[AGu]

AlexDem в сообщении #1000768 писал(а):

Информация - мера устранения неопределённости. Например, минимальное количество вопросов вида "Да/Нет", позволяющее узнать всё об интересующем объекте. (Не знаю, может это было - не читал подробно Ваши темы.) Мне такой подход кажется понятным. Если Вы и так знаете всё об объекте, то новые вопросы Вам никакой информации не принесут.

Без должных уточнений такой подход выглядит неадекватным. Разве при таком подходе — чисто формально — не получится, что все конечные объекты имеют «информационную меру», равную единице? Вроде, всегда найдется достаточно длинный и навороченный вопрос такой, что положительный ответ на него будет означать, что вы все знаете о данном конечном объекте.

(Простите, что непрофессионально встрял. На секунду заглянул в тему ради праздного любопытства. Если что, больше не буду.)

[epros]

AGu в сообщении #1000782 писал(а):

Вроде, всегда найдется достаточно длинный и навороченный вопрос такой, что положительный ответ на него будет означать, что вы все знаете о данном конечном объекте.

Как Вам поможет навороченность вопроса, если ответ может быть только "да" или "нет"? В такой ситуации эффективнее задавать как раз не навороченные вопросы, а такие, предполагаемые варианты ответов на которые равновероятны.

[AGu]

epros в сообщении #1000785 писал(а):

AGu в сообщении #1000782 писал(а):

Вроде, всегда найдется достаточно длинный и навороченный вопрос такой, что положительный ответ на него будет означать, что вы все знаете о данном конечном объекте.

Как Вам поможет навороченность вопроса, если ответ может быть только "да" или "нет"?

Вроде, поможет. Фактически речь идет о познании объектов методом проверки гипотез. Ну вот, я формулирую очень пространную гипотезу, что данный объект устроен так-то и так-то и никак иначе, перечисляю все мыслимые детали (их ведь конечное число, так что это в принципе возможно), излагаю все это в нескольких миллионах книжных томов, и спрашиваю оракула, соответствует ли моя гипотеза действительности. Получив в ответ «да», я испускаю дух.

[Geen]

AGu в сообщении #1000786 писал(а):

Получив в ответ «да», я испускаю дух.

Не надо - представим, что исследуемый объект это последовательность из 1000 равнослучайных нулей и единиц.

[epros]

AGu в сообщении #1000786 писал(а):

epros в сообщении #1000785 писал(а):

Как Вам поможет навороченность вопроса, если ответ может быть только "да" или "нет"?

Получив в ответ «да», я испускаю дух.

Забавный вариант. Но лучше посчитайте энтропию и убедитесь, что информационная ценность вопроса, вероятность ответа "да" на который составляет $10^{-9}$, гораздо меньше одного бита...

[arseniiv]

(Оффтоп)

Немного испорчу ситуацию: как известно, информационная энтропия «сама по себе» для дискретных случайных величин определена только лишь из-за того что есть с тем же носителем величина с таким распределением, что условная и. энтропия остальных по отношению к ней достигает наибольшего значения в ней и только. А для случайных величин, скажем, на $\mathbb R$, такого «равномерного» распределения нет, и энтропия для них имеет нехорошие свойства.

А так я мимо проходил и изъясниться понятнее не смогу — лень искать то место, где читал, чтобы вспомнить, что же там такое. (Так что смело ругайте, если захочется.)

[epros]

arseniiv в сообщении #1000822 писал(а):

А для случайных величин, скажем, на $\mathbb R$, такого «равномерного» распределения нет, и энтропия для них имеет нехорошие свойства

Всё верно. И не только на $\mathbb R$, но даже и на $\mathbb Q$ проблема с "равномерным распределением" имеет место быть. Решается она, насколько я знаю, только неким волюнтаристским образом: Аксиоматическим признанием некоего распределения за "самое равномерное" (или что-то в этом роде).