2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 Полиномиальная регрессия
Сообщение03.07.2014, 10:13 
Аватара пользователя


24/10/05
400
У меня вопрос, какая оценить (выбрать) оптимальную степень полинома в полиномиальной регрессии, чтобы не началось "Переобучение" (overfitting)?
У меня есть выборка данных $(x_i y_i) if=1...20.$. В задаче стоит указание, что можно использовать

$RMSE = \sqrt {\frac{1}{n}\sum\limits_{i = 1}^n {{{\left( {{y_i} - x_i^Tw} \right)}^2}} } $,
параметр ридж-регрессия $\lambda  =  10^-6$
Изображение

 Профиль  
                  
 
 Re: Полиномиальная регрессия
Сообщение03.07.2014, 18:54 
Аватара пользователя


31/10/08
1244
antoshka1303
1. Отделить шум от сигнала может только тот, кто поставил задачу.
Придумать эмпирический(инженерный) критерий вполне возможно. К примеру коэффициенты шума меньше полезных в 10 раз. И смотреть при какой степени появятся коэффициенты меньше чем при $x_1$ в 10 раз.
Или вот другой пример из ЛЛ все физические процессы как правило не превышают 3 степень.


2. Ошибки округления от использования single и double таковы, что для полиномов канонического вида степень не может превышать для single 4-7 для double 8-11. Цифры дал достаточно условно. Более точно надо считать для конкретной задачи и алгоритма решения.

 Профиль  
                  
 
 Re: Полиномиальная регрессия
Сообщение23.08.2014, 16:53 
Заслуженный участник
Аватара пользователя


11/03/08
9489
Москва
Мне два подхода видятся (не утверждаю, что это всё возможное).
1. Критерий, учитывающий, помимо близости линии регрессии к наблюдениям, также количество регрессоров, и при чрезмерном увеличении числа регрессоров показывающий ухудшение.
Это может быть F-отношение, $R^2_{adjusted}$, информационный критерий Акаике, $C_p$ и другие (некоторые перечислены в книге Себера).
2. Разделение выборки на обучающую и экзаменующую, оценка модели по первой и проверка по второй, так что берётся то число регрессоров (степень полинома), на которой результат экзамена наилучший. Разновидность такого подхода - "скользящий экзамен", когда поочерёдно одна точка рассматривается, как экзаменационная, а модель строится по остальным.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 3 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group