Исключение незначимых переменных из регрессии

[alebezh]

Здравствуйте!

При оценке линейной регрессии с помощью МНК, получено уравнение, в котором некоторые оценки коэффициентов незначимы. Однако, при их исключении увеличиваются доверительные интервалы и дисперсии других переменных и уменьшается R-squared.

Предположил, что возможно присутствует мультиколлинеарность, но показатели вздутия VIF оказались довольно малы (~1).

О чем этом может говорить?

[devgen]

Я взял число регрессоров равным числу наблюдений и получил $R^2=1$. Нужно ли мне исключить незначимые?

[Александрович]

Обязательно.

[devgen]

Александрович

(Оффтоп)

Это был ответ к вопросу ТС

[Евгений Машеров]

R-квадрат растёт даже при добавлении случайных чисел в качестве регрессора (ну, строго говоря, неубывает, но случай, когда вектор случайных чисел ортогонален зависимой переменной, маловероятен). Им руководствоваться не стоит.
В качестве "совета на первый раз" посмотрите на изменение F-отношения, если оно при исключении растёт - правильно исключили.
Более серьёзный анализ может опираться на "скользящий экзамен" (когда, поочерёдно отбрасывая наблюдения по одному, строят модель на оставшихся и смотрят на её прогностическую способность для отброшенного), или же на содержательные соображения, которые могут потребовать оставить даже наблюдения с незначимым коэффициентом (в последнем случае возможно полезной будет перепараметризация, в простейшем случае переход от исходных переменных к их разностям, снижающий корреляцию между ними)