Методы регуляризации (прогнозирование)

[typen]

Доброго времени суток,

Столкнулся с проблемой регуляризации как таковой, насколько я понимаю она применяется в качестве коррекции модели в процессе построения модели либо после моделирования. Вроде как регуляризация применяется для нахождения оптимального параметра регулярности между ошибкой и устойчивостью моделей.
Однако что мы можем подразумевать под этим параметром регулярности?
Единственный метод регуляризации который мне знаком - это введение внешнего критерия регулярности.
Из этого метода мне известно лишь его название
Не могли бы вы мне рассказать об этих методах и о том в каких случаях их лучше применять?
Или же указать конкретную литературу где подробно описывается этот вопрос (гуглъ не помог)?

Заранее спасибо

[mserg]

Выскажу свое частное видение.

Регуляризация есть внесения дополнительных ограничений/требований на подбираемую модель/функцию на основе имеющейся информации.

Например, есть экспериментальные данные, которые предположительно можно описать полиномом. Полином Лежандра даст «абсолютную» точность, однако в промежуточных точках такая модель может дать просто безумно большие (по модулю) значения. Посмотрев на это безобразие, исследователь скажет: функция должна быть более гладкой! А гладкость, во многом, характеризуется второй производной. Регуляризация будут заключаться в добавлении (прибавлению) к критерию точности суммы квадратов вторых производных в некоторых выбранных точках. Точность пострадает, но зато подбираемая функция перестанет метаться то вверх, то вниз. Критерий гладкости и будет «внешним критерием регулярности». А коэффициент, с которым добавляется критерий гладкости в общий критерий, - тем самым подбираемым параметром регуляризации – он определит компромисс между точностью на экспериментальных данных и гладкостью.

Каким образом вводится регуляризация, зависит, очевидно, от того, какая информация имеет место быть на руках.

В интернетах можно поискать «Переобучение»; регуляризация - это один из методов борьбы с ним. Также можно поискать «регуляризация Тихонова» - описания вполне доступные.

[typen]

Мы пытаемся оптимизировать прогноз путем минимизации ошибки (средний квадрат ошибки прогнозирования), то есть нам нужно к этому выражению добавить некую "штрафную" функцию с параметром регулярности которая и будет регулировать наше выражение дабы мы не получали слишком "резкий" прогноз.
То есть под параметром регуляризации мы можем принимать допустим весовые коэффициенты, или например число точек по которым проводится прогноз, вроде так?

Насчет Тихонова нам советовали не акцентировать на нем внимания, так как он используется в основном в алгоритмах восстановления (реставрации изображений) и имеет достаточно плохую совместимость с прогнозированием.

Мне бы очень хотелось увидеть хотя бы один практический пример использования регуляризации, дабы в полной мере осознать его свойства.

[mserg]

В моем понимании жизни, не обязательно правильном, весовые коэффициенты и число точек для прогноза не являются регуляризацией.

Допустим, делается прогноз с помощью метеорологических наблюдений на март месяц для Москвы, и средняя температура в прогнозе получается +25 C. Это несколько расходится с наблюдениями погоды прошлые года. Поэтому можно провести регуляризацию с помощью средней температуре за март прошлых годов, или средних по дням прошлых годов. Получается вполне себе Тихонов.

-- Сб мар 02, 2013 22:04:30 --

Кстати, резкий прогноз, это когда в понедельник +30, во вторник -50, а в среду + 40. Чтобы такого не было, можно потребовать плавности изменения температуры. Это будет сумма квадратов разностей температур соседних дней в прогнозе, добавленных в критерий с некоторым коэффициентом.