частная корреляция vs регрессия

[AndreyL]

Дамы и Господа!

Вопрос: как соотносятся коэффициент частной корреляции и коэффициент множественной линейной регрессии? Если $r_{y,k}=\frac{-A_{y,k}}{\sqrt{A_{y,y}A_{k,k}}}$ - коэффициент частной корреляции $k$-го компонента независимой переменной с зависимой переменной ($A$ - алгебраическое дополнение к соответствующему элементу полной корреляционной матрицы), а $b_k$ - $k$-й угловой коэффициент регрессии, то есть подозрение, что по одному можно вычислить другой, зная дисперсии. Только как это сделать?

[Евгений Машеров]

Дисперсия ничего не даст, поскольку что множественная корреляция, что частная, что обычная парная её влияние устраняют.

[AndreyL]

Так именно для этого и нужны дисперсии - для того, чтобы перейти к самим коэффициентам регрессии. Для парной понятно, угловой коэффициент $b=r \frac{s_y}{s_x}$, а для множественной (с частными корреляциями) пока не очень.
Реально весь вопрос в том, как найти дисперсию оценки регрессионного параметра по полной ковариационной матрице.

[Евгений Машеров]

Так на этот вопрос можно ответить, не зная частных корреляций.
$\sigma^2(a)=\sigma^2(X^TX)^{-1}$

[AndreyL]

А как заменить $(X^TX)$ (причем первым столбцом в $X$, насколько я помню, должны быть единицы), на ковариационною матрицу? И получить оценку $\sigma^2$ по этой же ковариационной матрице?

[Евгений Машеров]

Это уже вопрос деталей техники вычислений. Если в регрессионной модели есть свободный член, то обрабатывать его можно двояко. Либо рассматривать, как равноправную переменную из единиц, либо вычесть из регрессоров и регрессанда средние значения, и работать с центрированными данными. На практике используют второй подход (восстанавливая затем значение свободного члена), первый "для общности". Как правило, если говорят о ковариационной матрице, речь о центрированных (но не нормированных) переменных.
По ковариационной матрице регрессоров оценить дисперсию ошибки нельзя, надо найти вектор отклонений наблюдаемых значений регрессанда от оцененных по регрессии и сумма квадратов его значений, делённая на число степеней свободы, даст оценку дисперсии (есть схемы вычисления без явного выписывания значений коэффициентов, но особого преимущества не дают).

[AndreyL]

Евгений Машеров в сообщении #1369334 писал(а):

По ковариационной матрице регрессоров оценить дисперсию ошибки нельзя

Конечно! Нужна полная ковариационная матрица, включающая как независимые, так и зависимую переменные. Будем считать, что зависимая переменная стоит на последнем месте.

Евгений Машеров в сообщении #1369334 писал(а):

(есть схемы вычисления без явного выписывания значений коэффициентов, но особого преимущества не дают).

Вот это как раз и интересует. Есть большое подозрение, что для определения угловых коэффициентов и их дисперсий достаточно только ковариационной матрицы и объема выборки, сама выборка не нужна.

[Евгений Машеров]

https://en.wikipedia.org/wiki/Multiple_correlation

[AndreyL]

Да, Спасибо! Это уже будет третий способ нахождения $R^2$.