Регрессия. Коэффициент детерминации R^2 и скорректированный.

[[e-mail]]

Помогите разобраться. Известна формула о связи сумм квадратов отклонений $TSS=ESS+RSS$. Коэффициент детерминации $R^2$ определяем как отношение факторной и полной сумм квадратов - $R^2= \frac{ESS}{TSS}$. Здесь все ясно. Но когда переходим к вычислению скорректированного коэф-та $R^2_{adj}$, основная идея которого - использование приведенных ( одну степень свободы) сумм квадратов, вместо того, чтобы разделить приведенный $ESS^{*}=\frac{ESS}{m}$ (m - число факторов) на приведенный $TSS^{*}=\frac{TSS}{(n-1)}$ (n - объем выборки), - вот так

$$R^2_{adj}=\frac{ESS^{*}}{TSS^{*}} (1)$$

, стандартная формула рекомендует действовать не напрямую, а через приведенные $TSS^{*}$ и $RSS^{*}=\frac{RSS}{(n-m-1)}$. Если выразить все это через $R^2$, получится вот такая забавная формула

$$R^2_{adj}=1-(1-R^2)\frac{n-1}{n-m-1}$$

К тому же, для приведенных величин равенство $TSS^{*}=ESS^*+RSS^{*}$ уже не выполняется - это тоже вносит сумятицу в понимание вопроса.

[Lia]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
по следующим причинам:

- неправильно набраны формулы (краткие инструкции: «Краткий FAQ по тегу [math]» и видеоролик Как записывать формулы);

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Lia]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

[Евгений Машеров]

Основная идея там иная - а именно несмещённые оценки дисперсии ошибки. Одна через проекции на пространство, ортогональное к регрессорам, вторая на пространство, натянутое на регрессоры (в предположении, что истинные коэффициенты регрессии нули)

[[e-mail]]

Пробую разобраться. Под пространством, "натянутым на регрессоры" имеется в виду линейная оболочка векторов $X_i$, составленных из значений зависимых переменных i-того фактора? Тогда вектор расчетных значений $Y\hat{}$ будет проекцией вектора Y на это подпространство а вектор ошибки $\varepsilon=Y-Y\hat{} $ , ортогонален ему. Что такое "проекция оценки дисперсии ошибки"? Длина проекции этого вектора?

[Евгений Машеров]

Про «проекцию дисперсии ошибок» это не я говорил. Я только про оценки дисперсии $\varepsilon$ через проекции на два пространства. В одном лежат регрессоры, второе ему ортогонально. Знаменатели взяты из требования несмещённости оценок, одна пллучена для ортогонального регрессорам пространства, другая для объединения их. Если в действительности связи нет - оценки равны, и скорректированный коэффициент равен нулю. Можно использовать оценки по пространству регрессоров и ортогональному, но тогда придём к F-отношению, а здесь получается величина, похожая на популярный (особенно на момент, когда её предложили) коэффициент корреляции. Цель, с практической точки зрения, та же. Не допустить переподгонки из-за того, что ошибка «прячется» в пространстве регрессоров.

[[e-mail]]

Спасибо большое, начинаю что-то соображать. Если не трудно, подкиньте ссылку на хороший учебник по эконометрике, а то рекомендованный нам более напоминает комиксы.

[Евгений Машеров]

Не преподаю уже давно. Так что не могу уверенно советовать. Тут время от времени проскакивала ссылка на Форум по эконометрике, там, возможно, смогут Вам помочь. Но тут ещё есть факторы, которые надо учесть - объём и цель курса (в смысле ознакомительный он, или полнообъёмный), уровень математического бэкграунда и прочие.

[[e-mail]]

Хочу стать могучим непобедимым исполинов в области регрессионного анализа. Математический бэкграунд нормальный и, при необходимости, апградируется до нужного уровня.)

[Евгений Машеров]

Так может, изучать именно книги по регрессионному анализу? Себер, Джонсон, Демиденко? Для эконометрики это всего лишь частный метод.