Информация и ее измерение

[statistonline]

Lev65 в сообщении #758510 писал(а):

Открыв ящик Шеннона вы ведь можете так и не снять неопределенность

То есть как? Открыв ящик, я не смогу разобраться, что же там с монетой?! А как Вы тогда одежду из шкафа достаете и не боитесь не разобраться, Ваше это или Вашей второй половины? Вы приведите уже наконец пример, когда неопределенность в каком-либо вопросе исчезает, а информация при этом не возникает.

[arseniiv]

Lev65 в сообщении #758510 писал(а):

Открыв ящик Шеннона вы ведь можете так и не снять неопределенность - т.е. вверх или вниз орлом монета там располагается.Например, когда монета стоит на ребре нельзя утверждать,что монета расположена в ящике орлом вверх,так же,как нельзя утверждать,что она расположена там орлом вниз.

Вы путаете модель и реальность. Открыв ящик, можно вообще активировать бомбу, которая там внезапно оказалась. Никто не запрещает сделать сколь угодно подробную модель, содержащую и монету, вставшую на ребро, и монету, растворившуюся в кислоте. Возможность неприменимости модели её внутренних свойств не меняет.

[Lev65]

statistonline:Позвольте,но вы то ведь хотели разрешить неопределенность с монеткой в ящике не в отношении некого достаточного большого множества вариантов (см. ваши посты). Вы задали конкретное множество из двух вариантов (орел или решка). Ну а я,соответственно, вам продемонстрировал примером,что эту неопределенность вы,открыв ящик,можете и не разрешить...

Можно конечно перейти и к разбору других примеров,но пример с ящиком Шенона,помимо его привлекательности классической известностью,на мой взгляд,далеко не исчерпан...Поэтому предлагаю не путаться,перепрыгивая с примера на пример,а продолжить тему с этим примером...

-- 30.08.2013, 19:45 --

arseniiv:Я рассмотрел именно ту модель,которая была задана автором - закрытый ящик с конкретной неопределенностью "орел" или "решка". Да,действительно,можно составить множество вариантов состояния монетки в ящике - орел,решка,на ребре,растворенная в кислоте,ну и так дальше...Но дело то в том,что этот ваш список состояний монетки априори всегда будет конечным. В то же время,если вдуматься, множество состояний монетки в ящике бесконечно! Следовательно,открывая ящик Шенона со сколь угодно подробным списком возможных состояний монетки в руках,мы всегда рискуем увидеть вариант,который в этом списке отсутствует...

[arseniiv]

Lev65 в сообщении #759035 писал(а):

Но дело то в том,что этот ваш список состояний монетки априори всегда будет конечным. В то же время,если вдуматься, множество состояний монетки в ящике бесконечно! Следовательно,открывая ящик Шенона со сколь угодно подробным списком возможных состояний монетки в руках,мы всегда рискуем увидеть вариант,который в этом списке отсутствует...

Ничто не мешает сделать список состояний монеты таким: «орёл, решка, ребро, растворилась, другое». Отсутствующий вариант получить не удастся.

[bin]

Определение:

Цитата:

Спекуляция — в философии это отвлечённое рассуждение, тип теоретического знания, которое выводится без обращения к опыту («спекулятивное суждение»).

Википедия: Спекуляция (философия)

На мой взгляд, данное обсуждение носит слишком спекулятивный характер. (Начал с определения, чтобы никому не показалось обидным слово «Спекуляция» )

Попробуем обратиться к опыту. Пусть студентам дано задание: написать программу на языке высокого уровня (ЯВУ), которая читает на входе число, а на выходе печатает исходное число и его квадрат. Первый студент достаточно освоил программирование, чтобы выполнить такое примитивное задание без посторонней помощи. Второй студент «пошарил по сетке» и скачал мою программу.

Рассмотрим эти программы как информационные сообщения и отметим следующие особенности:

1) Вероятность того, что их исходные тексты совпадают, очень мала.
2) И мала вероятность, что совпадают исполняемые файлы.
3) Количество информации в исходном и исполняемом коде разные.
4) Эти сообщения многоцелевые: первая цель – удобочитаемый человеком исходный код, снабженный комментариями, объясняющими назначение использованных переменных и операторов $+$ ФИО студента (второму студенту не забыть стереть мой копирайт ), служебная информация для компилятора (нпр., директивы оптимизации, отладки) и т.д.; вторая цель – получение исполняемого кода.

Итак, имеем два несовпадающих сообщения, приводящих к одним и тем же результатам:

1) для одинаковых данных программы выдают одинаковые результаты (с точностью до погрешности округления, м.б. разной)
2) оба студента получают зачет.

Отсюда:

- вывод 1: многоцелевой характер сообщений не дает возможность просто (одной цифрой) выразить ценность информации, т.е. для какой-то цели часть информации может иметь нулевую цену. Например, компилятору комментарии (кроме директив) не нужны. Но они могут очень помочь студенту (особенно второму) на сдаче зачета объяснить преподавателю что и как делает его программа.

- вывод 2: количество информации не может дать однозначной оценки знаний студента. Действительно, позаимствованная у меня вторым студентом программа работает правильно, но это не значит, что студент достоин зачета. Если студент вдумался и разобрался, то достоин. (Чтобы проверить знания, преподаватель может попросить студентов зациклить их программы, т.е. чтобы можно было вводить числа не перезапуская, а, получив число 0 на входе, программа заканчивала счет.) Первый студент мог плохо отформатировать исходный текст, а второй навести красоты: поставить свою фамилию в рамочку, добавить пустые строки. Первому стоит сделать замечание, а второго похвалить за оформление, но на результат зачета такая дополнительная информация повлиять не должна.

- вывод 3: в реальности сообщения не изолированы от окружающей среды и при преобразовании сообщений используется дополнительная информация, точное количество которой оценить в общем случае невозможно. Так, объясняя работу своей программы, студенты используют знания, которые они получили в ходе занятий и самостоятельной подготовки. При переводе сообщения с ЯВУ в инструкции процессора используются знания (правила), заложенные в компилятор и т.д.

- вывод 4: даже исходный код на ЯВУ нельзя назвать формальным. При том, что ЯВУ – формальный язык, комментарии пишут на естественном неформальном языке (ср. с математическим текстом: кроме формул там еще обычно бывают слова естественного языка, т.о. язык математики строго формальным не является).

- вывод 5: высказанные в данном обсуждении претензии к Шеннону и к computer sci. несправедливы. С тем же успехом можно высказать претензии к математике и к любой другой науке, что не все ее цели достигнуты и не все задачи решены.

Эти выводы можно сделать и из стартового примера:

eugrita в сообщении #552059 писал(а):

Как например мерять изменение знаний студента по математике когда ему прочли новую теорему?
1й студент просто заучил и не может ни к чему применять. У него должна быть одна мера
2-й студент переварил эту же теорему творчески. Посмотрел применимость порешал задачки. Появилось знание о ее применимости и мастерство решения в классе задач.

«переварил эту же теорему творчески» - т.е. использовал дополнительную информацию, полученную им ранее при изучении математики, «порешал задачки» - опять доп. информация… От студента требуют не просто знания новой теоремы, а чтобы эта теорема вошла в систему его мат.знаний. Если знания не систематизированы, то и "переварить" новую теорему этот студент не сможет. Проблема в оценке систематичности знаний студента, а не в количестве байтов текста теоремы.

PS BTW:

eugrita в сообщении #552548 писал(а):

Вопросами выделения знаний из информации сейчас занимаются такие направления как"искусственный интеллект","инженерия знаний", проблемно-ориентированные "экспертные системы но никак не информатика.

AI - часть computer sci.

[arseniiv]

bin в сообщении #760023 писал(а):

- вывод 4: даже исходный код на ЯВУ нельзя назвать формальным. При том, что ЯВУ – формальный язык, комментарии пишут на естественном неформальном языке (ср. с математическим текстом: кроме формул там еще обычно бывают слова естественного языка, т.о. язык математики строго формальным не является).

Ерунда какая. Комментарии не влияют на смысл кода и их можно спокойно выкинуть. Сравнение с языком математики совершенно неаналогичное — в языке математики словам приравнивается вполне определённый смысл и их нельзя выкинуть без потери смысла для всех математических текстов (можно написать, конечно, текст без слов, достаточно повозившись с кучей обозначений вместо них — в таком тексте без слов выкидывание слов ничего не изменит).

[bin]

arseniiv в сообщении #760053 писал(а):

Ерунда какая. Комментарии не влияют на смысл кода и их можно спокойно выкинуть.

Ну вот, сразу "ерунда"! У нас здесь нормальное обсуждение или где? Для нормального обсуждения стоит сначала попытаться понять, прежде чем ругать и навешивать подобные дефиниции... А выкидывать комменты из исходного кода не советуют - они вроде бы не влияют на смысл, но без них он становится трудноуловим для человека:

Цитата:

Все может быть!
Быть может, вы умрете,
Вас выгонят,
Сгорите на работе,
Или на базе вас задавит свеклой в таре…
Товарищи! Пишите комментарий!

Леонид Бунич

Так же трудноуловим будет и нетривиальный мат.текст без слов естественого языка, если вообще такое возможно - далеко не все обозначения приведены к единому стандарту... Как бы то ни было, факт, что на данный момент подавляющее большинство мат. текстов содержит слова и фразы из этих слов, т.о. на данный момент математиками используется не строго формальный язык. (Понимание естественного языка - нерешенная задача AI.)

[arseniiv]

bin в сообщении #760071 писал(а):

Так же трудноуловим будет и нетривиальный мат.текст без слов естественого языка

Не так же, а по-другому. Из «i = 42; // магия» строку «// магия» можно выкинуть, не нарушив компилируемости этого тем, что понимает этот язык, а из «пусть $a$ — подмножество $b$» выкинуть «пусть <дырка> — подмножество <дырка>» нельзя, не нарушив «компилируемости» этого тем, что понимает этот язык (можно считать любой данный образец математического текста представителем какого-то определённого языка, который могут понять математики, знающие какой-то набор вещей).

То, что у программы есть какой-то смысл, не важно. Верность записанного математическим текстом утверждения тоже можно проверить формально, хотя для среднестатистического это сейчас без помощи человека не сделать. А проведение аналогии между комментариями ЯП и словами естественных языков в математическом тексте — это неразборчивость.

-- Вт сен 03, 2013 15:29:33 --

bin в сообщении #760071 писал(а):

(Понимание естественного языка - нерешенная задача AI.)

Зачем же так обобщать? Математический текст — это не любой текст.

[bin]

arseniiv в сообщении #760080 писал(а):

«пусть $a$ — подмножество $b$» выкинуть «пусть <дырка> — подмножество <дырка>» нельзя

Верно! Нельзя! Потому что это определение типа, такое как, например:

a=set of char; // подмножество множества символов

откуда "set of" выкинуть нельзя. Речь об "избыточных" словах в мат.текстах "откуда получаем", "где" и т.д. (привел простейшие случаи, т.к. более сложные трудно обобщить). Было показано, что естественные языки обладают примерно одинаковой избыточностью ок. 60%. В принципе на эти проценты можно сократить каждый мат.текст, как и в приведенном примере выкинуть:

// подмножество множества символов

Однако столь лаконичный стиль изложения не рекомендуется для мат.текстов - см., например, Mathematical Writing by Donald E. Knuth, Tracy Larrabee, and Paul M. Roberts, p.1:

Цитата:

1. Symbols in different formulas must be separated by words.
Bad: Consider $S_q$, $q < p$.
Good: Consider $S_q$, where $q < p$.

И в программе и в мат.тексте уменьшение избыточности нарушает "компилируемость" для людей. При том что я не спорю, что всякая аналогия не точна, возражу, что излишняя разборчивость мешает обобщениям.

Да, математический текст — это не любой текст, но это текст с применением естественного языка. Этого достаточно, чтобы уяснить, что понимание такого текста сопряжено с основными проблемами понимания естественного языка. И простого синтаксического анализатора (как в обычных компиляторах) тут недостаточно. Нужно по контексту распознавать значения слов. Конечно, в мат. текстах применение слов строже, чем в худ.литературе. Но и математики нередко допускают вольности (неизбежные в естественном языке), когда, например, пишут "группа вершин" не в значении термина теории групп, а в значении "группа товарищей"

arseniiv в сообщении #760080 писал(а):

Зачем же так обобщать?

Чтобы ответить на поставленные в этой теме вопросы

[statistonline]

Lev65 в сообщении #759035 писал(а):

В то же время,если вдуматься, множество состояний монетки в ящике бесконечно! Следовательно,открывая ящик Шенона со сколь угодно подробным списком возможных состояний монетки в руках,мы всегда рискуем увидеть вариант,который в этом списке отсутствует...

Для таких ситуаций существует принцип практической уверенности. Например, в генетике уровень статистической значимости в 0,001 считается достаточным, чтобы делать выводы об отцовстве или материнстве. Если "бесконечность множества всех мыслимых исходов эксперимента" и есть аргумент против определения информации по Шеннону или почти повторяющего его определения по Винеру, то я не вижу смысла дальше это обсуждать.