Информация и ее измерение

[eugrita]

Хотя раздел для дискуссий по математике, но вынес сюда тему связанную с информатикой, ввиду отсутствия на форуме такого раздела

Что такое информация?
энтропия Шеннона пускай и математически-безупречная функция, пускай и обладает свойством аддитивности для независимых событий. Но на практике шенноновский подход тем не менее не рассматривает информацию как смысл а как мертвый объем символов. В самом деле,задачки на это обычно формулируются с применением вероятностей появления символов. Ну а при чем это когда говорим о смысле информации?
полезнее для всех измерять их смысл
В информатике выделяют т.н. содержательный подход к самому понятию информации и предложены некоторые способы измерения, так например,связывая ее с возможностью достижения цели. Так же вводится модель тезауруса. Но все эти подходы как-то академичны не разработаны, нет единого стандарта. И преподавание теории информации обходится без них.
Как например мерять изменение знаний студента по математике когда ему прочли новую теорему?
1й студент просто заучил и не может ни к чему применять. У него должна быть одна мера
2-й студент переварил эту же теорему творчески. Посмотрел применимость порешал задачки. Появилось знание о ее применимости и мастерство решения в классе задач.
В каких мерах оценивать 2 эти случая и чтобы меры были разные?

[vicvolf]

eugrita в сообщении #552059 писал(а):

Хотя раздел для дискуссий по математике, но вынес сюда тему связанную с информатикой, ввиду отсутствия на форуме такого раздела

Есть такой раздел - Computer Science, Информатика, Криптография, ..

[Chifu]

Вы путаете получение информации и количество информации, например какое количество информации надо пулучить, чтобы полученная информация была исчерпывающей? Тут например количество каналов это количество информации (за один такт измерений например), а сами данные передающиеся по каналам это полученная информация. Для тех кто отправляет и получает данные, они вероятно имеют смысл, а вот для технической стороны канала связи этот смысл не имеет никакого значения, а имеет значение пропускная способность канала. Информация это сведения, самые разнообразные, в вашем случае это знания усвоенные учениками, для получения этой информации вам надо разаботать способ получения (измерения) этих сведений, у этих сведений будут такие характеристики как полнота и количество. В зависимости от количества получаемых сведений тест оценки усвоенных знаний будет длинным или коротким, но полным (исчерпыващим), или неполностью пройденным или недостаточно разработанным, т.е. неполным.

[epros]

eugrita в сообщении #552059 писал(а):

Но на практике шенноновский подход тем не менее не рассматривает информацию как смысл а как мертвый объем символов. В самом деле,задачки на это обычно формулируются с применением вероятностей появления символов. Ну а при чем это когда говорим о смысле информации?

Следует отличать полезную информацию от полной информации. Соответственно, и количество полезной информации, полученной с сообщением, будет отличаться от количества полной информации. Скажем, при расчёте количества полной информации мы просто считаем априорные вероятности появления той или иной буквы в той или иной позиции равными. Но ясно, что при передаче осмысленного сообщения никто не станет генерировать случайные наборы букв. Поэтому надо пересчитать априорные вероятности с учётом того, что буквы должны складываться в слова, слова - в осмысленные фразы, а фразы должны говорить о чём-то таком, что важно и для передающего сообщение, и для принимающего. Вот когда Вы пересчитаете априорные вероятности, а потом посчитаете количество информации по Шенноновской формуле, то получите уже оценку количества ПОЛЕЗНОЙ информации.

[mserg]

Насколько я уловил, речь идет об «информации», которую несут (математические) модели. В Шенноновском смысле количество информации зависит от сообщения. Но если речь идет о модели, т.е. ее нельзя охарактеризовать также. Возьмем простейшую модель с известными вероятностями букв. Сама модель (вероятности букв) как бы несет в себе «информацию», но в описании модели нет сообщений. Поэтому используют следующий коэффициент:
$k=I_m /I_0$
Здесь $I_m$ – количество информации в одном переданном символе с учетом вероятностной модели букв,
$ I_0$ – количество информации в одном переданном символе при условии отсутствии модели (т.е. все буквы как бы равновероятны).
Этот коэффициент $ k$ более адекватен терминам «понимание», «знание» и пр. , т.к. характеризует модель. Данный коэффициент можно охарактеризовать как «доля непознанного». Если использовать все более сложную модель (сначала со словами, затем с фразами и т.д.), то «доля непознанного» будет уменьшаться.

[eugrita]

epros в сообщении #552240 писал(а):

eugrita в сообщении #552059 писал(а):

Следует отличать полезную информацию от полной информации. Скажем, при расчёте количества полной информации мы просто считаем априорные вероятности появления той или иной буквы в той или иной позиции равными. Поэтому надо пересчитать априорные вероятности с учётом того, что буквы должны складываться в слова, слова - в осмысленные фразы, а фразы должны говорить о чём-то таком, что важно и для передающего сообщение, и для принимающего. .

Другими словами, по вашему дело в том о какой информации идет речь о полной или о полезной. А методика расчета та же. О том же вроде говорит и mserg
Теоретически вы правы, а для практической реализации такого подхода по-моему далеко:
надо
а)сформулировать критерии или фильтр для отсева полезной информации
б)профильтровать принятое полное сообщение и т.п.
При этом фильтр то какой? Адаптивный? Зависит от степени обучения субъекта?
Это уже куда-то к системе искусств интеллекта, нейронным сетям...
В информатике как раз рисуют такие картинки типа когда тезаурус ученика больше тезауруса лектора (источника) - количество полученной информации (знаний)=0. То же при полном непересечении тезаурусов. А самый лучшей результат как ни странно - при частичном совпадении обоих тезаурусов
Интересно было бы увидеть простейшие примеры таких "фильтров" не говоря уж о том чтобы программно
смоделировать их работу на каких-то тестовых массивах информации

[eugrita]

Если мы говорим об знаниях и информации в контексте скажем проверки некоторой гипотезы, тогда
фильтр сообщений видно состоит в выделении его такого подмножества которые или подтверждают или отвергают эту гипотезу, но не нейтральных.
Хорошо, а что же все таки делать когда в процессе приема некоторого сообщения относящего ся к какой-то теме или науке появляются новые понятия? (Наращивается семантическая сеть)
В этом случае фильтр должен отсеивать как шелуху слова, предложения, знания не относящиеся уже даже не к гипотезе, а к теме или вообще науке. А относящиеся - включаться в сеть, сначала как изолированные узлы графа , затем по мере поступления информации обрастать связями-ребрами Так что ли?

[eugrita]

Насколько я понимаю, на сегодняшнем уровне развития информатика пока не занимается вопросами
полезности информации, приемами выделения знаний из принятой общей информации.Хотя уже провела некоторую классификацию понятию "информации" и ее мер. Т.н. введено понятие "юридическая информация" и скажем "комбинаторная мера". У юристов понятие информации неразрывно связано с количеством комбинаций, вероятностью событий. Но там в основе классификации четко поставленная цель, скажем "найти преступника".
Вопросами выделения знаний из информации сейчас занимаются такие направления как"искусственный интеллект","инженерия знаний", проблемно-ориентированные "экспертные системы но никак не информатика.
В задачах обучения скажем какой нибудь науке цель формулируется более широко. типа построить набор понятий и приемов направленных на решение специфических задач науки. И здесь классифицировать информацию на "полезную" и нейтральную значительно сложнее.

[PAV]

Лично я считаю данную тему бессодержательной и неинтересной. С одной стороны, идейно я не вижу тут ничего нетривиального. Имеется система целей или задач, которые стоят перед объектом. Имеются вероятности достижения этих целей. Все, что повышает эти вероятности - это польза. Ее можно теоретически измерить. Я не вижу тут никакого потенциала для чего-либо нового, никаких новых понятий или объектов. Все либо банально и лежит на поверхности, либо уже хорошо известно и исследовано.
С другой же стороны, как только мы попробуем применить это все к хоть сколько-нибудь интересным и нетривиальным практическим задачам ("сферические коровы в вакууме" я не считаю), то сразу же упремся в необходимость определять и измерять огромное количество характеристик, которые слишком нечеткие, слишком обширные и измерению не поддаются. Так что мы можем произносить множество красивостей и умностей, которые совершенно не будут иметь никакого практического применения.

Любые попытки объять необъятное обречены на неудачу. Это, конечно, личное дело каждого, на что тратить свое время, но мне было бы жалко растрачивать его настолько попусту. Нужно исходить из конкретных задач, которые возможно решить. Если это будет иметь успех, тогда дальше его можно развивать, усложнять используемые конструкции, но опять-таки - так, чтобы это имело практический смысл. А надеяться сходу с нуля построить "теорию всего" - это наивная утопия.

Впрочем, как я уже отмечал, каждый решает для себя сам, на что тратить свою жизнь. Просто в итоге окажется, что годы позади, а ни одного результата, который можно было бы предъявить, так и нет.

[epros]

eugrita в сообщении #552381 писал(а):

а)сформулировать критерии или фильтр для отсева полезной информации

Это на самом деле ни что иное, как теоретическое описание интересующей нас предметной области. Если оно выполнено на том же языке, на котором передаются сообщения, то критерии "полезности" передаваемой в сообщении информации становятся очевидными:

1) Сообщение должно быть синтаксически правильным (по крайней мере, оно должно распознаваться как синтаксически корректное утверждение).
2) Содержащееся в сообщении утверждение не должно быть тривиальным с точки зрения той теории, которая описывает предметную область.

Например, с точки зрения специальной теории относительности утверждение о том, что в ИСО свет движется со скоростью c, тривиально: Мы это и так знаем из постулата, никакой полезной информации такое сообщение не несёт. А вот если сказано, что объект X движется со скоростью c/2, то это - уже полезная информация, которая может быть частью постановки конкретной задачи (в рамках той же СТО).

eugrita в сообщении #552381 писал(а):

б)профильтровать принятое полное сообщение и т.п.

Легко. Например, муж улетает в другой город, а жена беспокоится и просит его по прибытии послать телеграмму - вот Вам описание предметной области. В телеграмме на самом деле может быть куча букаффф, типа: "Долетел замечательно, люблю, целую, твой зайка" и т.п. Если посчитать количество букв, то полная переданная информация получится не маленькой. Но с точки зрения приведённого описания предметной области полезным является только сам факт сообщения о том, что муж долетел успешно - грубо говоря, один бит (да и то при достаточно критическом отношении к безопасности авиаперевозок)

eugrita в сообщении #552381 писал(а):

При этом фильтр то какой? Адаптивный? Зависит от степени обучения субъекта?

Зависит от актуального описания предметной области, которое имеет субъект.

[eugrita]

PAV. Собственно основная цель этого сообщения и дискуссии - конечно не делать открытия и решать какие-то новые задачи и даже не изобретать подходы к определению информации.
Основная цель по-моему - найти дефекты в системе построения информатики как науки, возможно включить в нее новые направления. Грубо говоря ,написать новый учебник,где важное место уделено не прикладным технологиям, а именно смыслу информации.Ведь оттого что если мы включим скажем элементы инженерии знаний или экспертных систем в предмет информатики, добавим простых доступных школьникам примеров и определений новых открытий конечно не произойдет. Но концы с концами свяжутся. Не будет такого пугающего разрыва между количественным подходом и семантическим. Да, можно пересчитывать вероятности и условные вероятности, но давайте сначала построим четкую систему определений, классификацию видов смысловой информации, правил ее выделения, а только потом начнем применять количественные меры! А то информатикой можно до бесконечности заниматься с т.зр.информационных технологий, работать в пакетах, редакторах, программных оболочках, но главное - информация и ее методы измерения останется за бортом!
В математике скажем логика занимается еще и проверкой непротиворечивости математических теорий,
вопросами их интерпретаций. В теоретической информатике не хватает такого кирпича, который указал
методику классификации и отбора информации. Хотя пардон - "предметная область"
epros. Ну вот что вы говорите - фактически экспертная система. Через уже заложенную базу знаний проверяет новый факт. Только вот почему-то по крайней формально экспертные системы почти не изучаются в теоретической информатике, хотя должны бы стать важной если не главной составляюшей

[PAV]

eugrita в сообщении #552573 писал(а):

найти дефекты в системе построения информатики как науки

Когда дефекты есть, то они обычно видны невооруженным глазом, и тогда их надо исправлять. А если их надо "искать", то это частенько означает, что на самом деле их просто сочиняют, чтобы оправдать этим свою деятельность, которую иначе обосновать затруднительно.
В рассматриваемом случае единственный "дефект", который я пока что наблюдаю - это то, что в курсе информатики не преподают то, что как Вам кажется, преподавать должны. Однако пока что с Вашей стороны я не увидел убедительных обоснований того, есть ли реальная польза от этих вещей?

eugrita в сообщении #552573 писал(а):

возможно включить в нее новые направления

новые направления должны порождаться не из воздуха, а идти от конкретных задач, которые нужно решать

eugrita в сообщении #552573 писал(а):

написать новый учебник

это не цель. Сначала нужно убедиться в том, что новые понятия и направления действительно имеют реальный смысл и содержание, являются полезными хоть для чего-нибудь конкретного, а уже потом думать о том, как правильнее организовать их преподавание, включать в учебники и т.д.

eugrita в сообщении #552573 писал(а):

смыслу информации

Обоснуйте, что этот "смысл информации" действительно хоть кому-то нужен. Пока что я таких обоснований, которые бы меня убедили, не вижу. Например, меня мог бы убедить конкретный пример реальной прикладной задачи, для решения которой действительно необходим этот самый "смысл".

[hurtsy]

eugrita в сообщении #552573 писал(а):

Основная цель по-моему - найти дефекты в системе построения информатики как науки, возможно включить в нее новые направления.

Дефекты искать заранее, имхо, все равно что "будить спящую собаку".

eugrita в сообщении #552573 писал(а):

Да, можно пересчитывать вероятности и условные вероятности, но давайте сначала построим четкую систему определений, классификацию видов смысловой информации, правил ее выделения, а только потом начнем применять количественные меры!

Ну и много шансов решить противоречие "Перельман - Институт Математики им. Стеклова(СПбо)"

Всё же лучше трезвое

PAV в сообщении #552556 писал(а):

Впрочем, как я уже отмечал, каждый решает для себя сам, на что тратить свою жизнь.

Но лучше не строить

PAV в сообщении #552556 писал(а):

"теорию всего"

. Ответ ведь существует - "век живи, век учись - ..."
С уважением,

[vicvolf]

eugrita в сообщении #552059 писал(а):

...энтропия Шеннона пускай и математически-безупречная функция, пускай и обладает свойством аддитивности для независимых событий. Но на практике шенноновский подход тем не менее не рассматривает информацию как смысл а как мертвый объем символов. В самом деле,задачки на это обычно формулируются с применением вероятностей появления символов. Ну а при чем это когда говорим о смысле информации?
......
Как например мерять изменение знаний студента по математике когда ему прочли новую теорему?
1й студент просто заучил и не может ни к чему применять. У него должна быть одна мера
2-й студент переварил эту же теорему творчески. Посмотрел применимость порешал задачки. Появилось знание о ее применимости и мастерство решения в классе задач.
В каких мерах оценивать 2 эти случая и чтобы меры были разные?

Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
В примере с обучением двух студентов. Обоим студентам передается одинаковый объем информации, но при приеме информации у студентов были различные потери информации. У 2-ого студента этих потерь практически не было, поэтому он усвоил всю информацию и его энтропия (неопределенность) в этом вопросе стала равна 0. При приеме информации 1-ым студентом потери информации были значительно больше, поэтому он не усвоил переданную ему информацию и его энтропия (неопределенность) в данном вопросе не равна 0.
Таким образом, надо учесть потери информации , при этом оставаясь в рамках классического определения энтропии Шеннона.

[eugrita]

Хорошо с многим из сказанного согласен. С примером потери информации тоже.
Тогда, выходит широко применяемая методика тестирования как оценки знаний предметной области верна
(при наличии хорошо детально разработанных тестов+полного списка экзаменационных вопросов).
И вообще говоря баллы за экзамен выставлять не из принятой сейчас в МинОбр шкалы диапазонов процентов отвеченных вопросов.
Корректней видимо подходить, считая потери информации при каждом не совсем удачном ответе на экзаменац.вопрос или не решенной тестовой задачи. Правда надо еще уточнить ,как считать.
А на заключительном этапе после расчета потерь и каким-то образом подсчитанных вероятностей или условных вероятностей таки использовать формулу Шеннона?