Критерий при подборе функций

[mserg]

При подборе функций по экспериментальным данным часто используют метрический критерий. Например, это может быть среднеквадратическое отклонение подбираемой функции от экспериментальных данных. Известно, что чем меньше длина функции (количество бит, необходимое для ее записи), тем она надежнее (см. бритва Оккама; есть более строгое обоснование). Поэтому постановка задачи о подборе функции $y=f(x)$содержит следующие «элементы»:
* Множество экспериментальных данных $<x_i,y_i>$
* Схему конструирования функции $f$ (например, в форме Бекуса-Науэра)
* Критерий оптимальности, который является компромиссом между точностью подбора функции и ее надежностью.

Вроде бы можно разработать схему подбора функции в неявном виде. Утверждать с уверенностью этого не буду, так как не разрабатывал эту тему, но вроде как можно. Для двумерного случая подбираемая функция может описывать не только линии, но и целые области на плоскости.

Не смотря на то, что описанные выше схемы подбора функций довольно общие, на практике их применение весьма ограничено. Основная проблема – это наличие случайностей в экспериментальных данных. Например, пусть физический процесс таков, что $y$ принимает значение 1 с вероятностью 0.2, 2 с вероятностью 0.4 и 3 с вероятностью 0.4. Метрический критерий подбора функции даст некоторое среднее, что не вполне адекватно. Пример можно расширить, добавив к нему, скажем, параболу. Получится смесь случайного и детерминистического. Можно и далее усложнять пример, но, я думаю, и проблема и так ясна. В природе случайное и детерминистическое скрещиваются самым причудливым образом, чего только стоят текстуры кожи крокодила и апельсиновой корки…

Вопрос таков. Как математически поставить задачу описания экспериментальных данных, содержащих случайные величины (процессы или что там еще…)? Есть ли конструктивная схема решения этой задачи, как это описано выше для детерминистических данных?

[worm2]

А почему бы не взять тот же самый метрический критерий, но с весами? Если результат каждого измерения рассматривать как случайную величину с известной дисперсией (для каждого измерения дисперсия своя), то этому измерению можно сопоставить вес, обратно пропорциональный квадратному корню из этой дисперсии.

Или это я что-то слишком тривиальное написал?

[Фантом]

mserg писал(а):

Вопрос таков. Как математически поставить задачу описания экспериментальных данных, содержащих случайные величины (процессы или что там еще…)? Есть ли конструктивная схема решения этой задачи, как это описано выше для детерминистических данных?

По-видимому, нет - и в первую очередь потому, что это никому не нужно. При описании экспериментальных данных выбор вида описания обусловлен какими-либо соображениями о модели явления. Т.е. для описания выбирается, допустим, линейная зависимость не потому, что она "самая простая", а потому, что есть основания обнаружить именно ее. Соответственно, проблем со случайными отклонениями при таком подходе нет - они интерпретируются именно как случайные отклонения от зависимости некоторого заданного вида.

[mserg]

Действительно, часто исследователь выбирает вид функции и подбирает такие параметры, чтобы минимизировать расхождение между данными и функцией. Однако вопрос о «ручном» подборе функцию не стоит на повестке дня. Модель (вид функции) должна создаваться компьютером – это начальное условие задачи и в данном контексте обсуждению не подлежит.

Вопрос о сглаживании отклонений также отсутствует как таковой, т.к. метрический критерий с ними успешно справляется. Поэтому тут тоже нечего обсуждать.

Меня не так давно спрашивали из одной крупной компании (она известна во всем мире) о возможности конструктивного решения этой задачи. Данных у них – миллионы записей, данные многомерны; достоверность данных сейчас низка, а затем будет повышаться. В таких условиях не представляется возможным подобрать вид функции вручную, да и компанию это не устроит. Они хотят описать данные, задать надёжностные и ресурсные ограничения, а на выходе получить математическую модель. И так много раз с разными условиями и данными. Гениальный «исследователь-подбиральщик» моделей им нахрен не нужен (извиняюсь за каламбур).

**************************

Для понимания вопроса представим себе следующую гипотетическую модель. Пусть дано большое черно-белое (двуцветное) изображение. На белом фоне в случайных местах нарисованы 300 черных бубликов одного размера. Кроме этого изображение зашумлено: каждый пиксель инвертирован с вероятностью 0.1%.
В зависимости от того, насколько интересны «детали», могут быть получены следующие модели:
1. Средняя яркость изображения (просто одно число)
2. Шумы проигнорированы, модель представляет собой генерацию черных бубликов: случайно «выбирается» x и y и «рисуется» черный бублик
3. Шумы игнорируются, модель представляет собой генерацию черных бубликов по заданным координатам.
4. Модель представляет собой генерацию черных бубликов по заданным координатам, шум – инверсия цвета с вероятностью 0.1% для каждого пикселя.
5. Изображение запоминается полностью.
По идее, какая из моделей будет получена «программой», зависит от пользователя, т.е. от того, какие ограничения он наложит на длину формулы.
Модель для данной задачи построить можно, не смотря на то, что имеют место случайности. Однако возникают вопросы, например, как наложить модель N 2 на изображение, т.е. как конструктивно получить меру близости между моделью и изображением (в модели есть «генерация» случайного расположения бубликов). Тут метрические отклонения ну ни как не подходят...

Не забываем про контекст: модель может быть произвольной и должна генерироваться компьютером по данным и требования пользователя к надежности и ресурсам вычислений.

Есть мысли? Я понимаю, что эта задача выше уровня Колмогорова, но все же?