Об информационной ёмкости функциональных зависимостей...

[artful7]

На рассмотрение общественности предлагается следующий любопытный и вполне практический вопрос, фактически сформулированный мною так:

Какой подход можно использовать (или выработать) для оценки информационной емкости (информационного содержания), которую, бесспорно, имеют "внутри себя" различные функциональные зависимости?

Это не задача из учебника и не вопрос из олимпиады, а практическая проблема, с которой я имел честь столкнуться, пытаясь подобрать меру сравнения между собой двух произвольных функциональных зависимостей (см. тему http://dxdy.ru/topic17094.html) с точки зрения "запасённой" (агрегированной) в них информации.

Звучит несколько странно, но тем не менее, постараюсь объяснить суть вопроса.

Предположим, у нас есть некоторая линейная или нелинейная функциональная зависимость (ФЗ) - набор числовых пар $\[\{ x,\;y\} \]$, по которым можно построить двумерную кривую. Зададим себе вопрос: какой объем информации она может "запасти"? Ответ вроде бы прост - если предположить, что каждое значение из числовой пары $\[\{ x,\;y\} \]$ будет вещественным одинарной точности, то на его кодирование потребуется 32 бита (1 бит на знак, плюс 8 бит на порядок числа, плюс 23 бита на мантиссу числа), умноженных еще на 2 (т.к. пара чисел) и на количество таких пар. Вроде бы получим конечное число! Но, если учесть, что кривая, построенная на основе таких пар, теоретически может проходить через бесконечное количество точек, имеющих также парные координаты, то выходит, что запоминаемый объем информации - близок к бесконечности.

В теории информации, разработанной Клодом Шенноном, информационное содержание или самоинформация — это мера количества информации, связанного с исходом случайной величины; выражается в единицах информации, например, биты, наты, баны, диты, или харты, в зависимости от основания логарифма, используемого в определении. Но это определение связано со случайной величиной, а в нашем случае имеет место хорошо определенная функциональная зависимость, т.е. не случайная, а рассчитанная величина.
Аналогичная ситуация может возникнуть, если рассмотреть вопрос об информационной емкости, которой обладают такие структуры, как нейронные сети (НС) прямого распространения, которые также предоставляют возможность получения отклика $\[y = f\left( x \right)\]$, но только существенно более сложного. Процесс обучения самой простой нейросети с одним входом, одним выходом и одним скрытым слоем нейронов с нелинейными функциями активации (без обратных связей) - это фактически "упаковка" в структуре НС некоторого объема информации за счет изменения (перераспределения) значений коэффициентов функций активации и межнейронных связей (весовых коэффициентов). Пока не решаюсь сказать, в каких единицах правильнее будет измерить этот объем размещаемых данных - в битах, натах, банах, дитах, или хартах ...

Но что бы мы не взяли в качестве примера, — будь то набор числовых пар $\[\{ x,\;y\} \]$ или нейросеть $\[y = f\left( x \right)\]$, — интуитивно понятно, что объем информации, сохраненный при помощи построения функциональной зависимости, опять-таки можно оценить, измерить. Очевидно также, что есть вполне определенный верхний предел такой информационной ёмкости, превысить который невозможно без усложнения структуры функциональной зависимости.


На основе этого краткого вступления хотелось бы вместе с Вами найти подход к измерению информационного объема заданной функциональной зависимости и порассуждать, каким образом его можно подсчитать?!

[Finarfin]

Сошенно верно обращено внимание в сторону нейросетей.
Из нейрофизиологии известно, что образы чуственного восприятия (вход персептрона) характеризуется новизной. Для нас произведение новизны на значимость (оцененную исходя из уже имеющегося опыта) определяет способность любого восприятия притягивать наше внимание. И эта новизна это и есть информационная ёмкость. Понятно, что сколь бы ни была заковыриста кривая, если мы ее видим каждый день по 500 раз, то информации в ней с нашей точки зрения - ноль.
Поэтому и ёмкость кривой надо оценивать по затратам на обучение нейросети, достаточное для того, чтобы она могла из того старого что она "знает" научиться строить и предсказывать поведение новой функции исходя из значений абсцисс, и\или производных. Причём информационная ёмкость будет относительно старых данных, которые нейросеть уже знала. В зависимости от того, как мы зададим вход и выход нейросети будет меняться соотношение информационных ёмкостей одних и тех же кривых. Поэтому способ такого задания нужно подбирать исходя из конкретной задачи.

Информация - величина относительная.

Ну это скорее философские мысли, возникшие от беглого прочтения... Но больше я и не мог бы сказать, потому что плохо представляю себе конкретику задачи...

-- Сб июл 10, 2010 19:27:55 --

Цитата:

т.е. не случайная, а рассчитанная величина

Для того, кто уже знает эту расчётную зависимость информационная емкость построенного по ней графика равна нулю. потому что он это уже знает. А вот если он не знает эту зависимость, а пытается, например, предсказывать ее поведение, используя экстраполяцию другой зависимостью, то ошибка его прогноза для него будет величиной случайной. И можно находить информационную ёмкость как для случайной величины.

-- Сб июл 10, 2010 19:28:44 --

И это будет только оценка информационной ёмкости относительно экспоненты. Относительно другой функции - будет другая оценка.

[artful7]

Если я не ошибаюсь, это похоже на семантический подход, связанный с пониманием смысла передаваемой информации.

[artful7]

Надо придерживаться количественного подхода.

[logout2d]

Интересно можно ли считать Тест на IQ попыткой представить данную меру, как думаете?
(Лично я считаю абсурдом оценивать человека по IQ, так как имхо он не отражает реальное положение вещей)