Полиномиальная регрессия

[antoshka1303]

У меня вопрос, какая оценить (выбрать) оптимальную степень полинома в полиномиальной регрессии, чтобы не началось "Переобучение" (overfitting)?
У меня есть выборка данных $(x_i y_i) if=1...20.$. В задаче стоит указание, что можно использовать

$RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{y_i} - x_i^Tw} \right)}^2}} } $,
параметр ридж-регрессия $\lambda = 10^-6$

[Pavia]

antoshka1303
1. Отделить шум от сигнала может только тот, кто поставил задачу.
Придумать эмпирический(инженерный) критерий вполне возможно. К примеру коэффициенты шума меньше полезных в 10 раз. И смотреть при какой степени появятся коэффициенты меньше чем при $x_1$ в 10 раз.
Или вот другой пример из ЛЛ все физические процессы как правило не превышают 3 степень.


2. Ошибки округления от использования single и double таковы, что для полиномов канонического вида степень не может превышать для single 4-7 для double 8-11. Цифры дал достаточно условно. Более точно надо считать для конкретной задачи и алгоритма решения.

[Евгений Машеров]

Мне два подхода видятся (не утверждаю, что это всё возможное).
1. Критерий, учитывающий, помимо близости линии регрессии к наблюдениям, также количество регрессоров, и при чрезмерном увеличении числа регрессоров показывающий ухудшение.
Это может быть F-отношение, $R^2_{adjusted}$, информационный критерий Акаике, $C_p$ и другие (некоторые перечислены в книге Себера).
2. Разделение выборки на обучающую и экзаменующую, оценка модели по первой и проверка по второй, так что берётся то число регрессоров (степень полинома), на которой результат экзамена наилучший. Разновидность такого подхода - "скользящий экзамен", когда поочерёдно одна точка рассматривается, как экзаменационная, а модель строится по остальным.