Как связаны регрессия и корреляция?

[longstreet]

Пытаюсь понять, как можно наглядно представить коэффициент корреляции. (Чтобы его можно было оценить "на глаз" из диаграммы рассеяния.)
По-видимому, коэффициент корреляции $r$ связан с (нормированным) углом наклона регрессии (вроде линию регрессии на глаз провести можно).
Какой вид имеет эта связь? Хотелось бы увидеть формулу.

[Евгений Машеров]

"На глаз" - по форме эллипса рассеяния.
Не на глаз - строите регрессии Y на X и X на Y. Косинус угла меж ними равен коэффициенту корреляции.

[longstreet]

Евгений Машеров в сообщении #744858 писал(а):

"На глаз" - по форме эллипса рассеяния.

Я не точно выразился: хотелось бы на глаз оценить сколько-нибудь количественно, а не качественно при сравнении двух $r$.
Тогда baloon rule?

Евгений Машеров в сообщении #744858 писал(а):

Косинус угла меж ними равен коэффициенту корреляции.

Разве?

-- 10.07.2013, 16:14 --
Евгений Машеров
Не как косинус угла, а как среднее геометрическое вроде:

$$ r=\pm\sqrt{b_{Y\cdot X}\,\cdot\,b_{X\cdot Y}} $$

Правильно?

[Евгений Машеров]

Ну да, произведение наклонов это коэффициент детерминации, а коэффициент корреляции корень из него.

[longstreet]

longstreet в сообщении #744867 писал(а):

$$ r=\pm\sqrt{b_{Y\cdot X}\,\cdot\,b_{X\cdot Y}} $$

А почему это так? Откуда это с наглядностью следует?

-- 10.07.2013, 16:29 --

И, всё-таки, как это связано с углом наклона линии регресии (что было бы более очевидно)?

[Lahme]

longstreet в сообщении #744882 писал(а):

И, всё-таки, как это связано с углом наклона линии регресии (что было бы более очевидно)?

Углом наклона которой из линий? X на Y, или Y на X ?

При $r=0$ эти линии перпендикулярны.
При $|r|=1$ эти линии совпадают.
А наклон может быть любой.

[Евгений Машеров]

Непосредственно выразить безразмерный коэффициент корреляции через наклон линии регрессии, величину размерную и зависящую от выбора единиц измерения (к примеру, если коэффициент регрессии веса человека на рост, выраженные в сантиметрах и килограммах, равен 1 с размерностью килограмм/сантиметр, то для измерений в фунтах и дюймах уже будет 5.6, а если пуды и аршины, то 0.00088) Наклон же линии регрессии X на Y имеет размерность, обратную размерности наклона в регрессии Y на X, и их произведение уже безразмерно. Если выписать выражения для этих наклонов и перемножить их - увидим возведённое в квадрат выражение для корреляции.

[longstreet]

Евгений Машеров, про косинус угла -- Вы были правы. Но только не между двумя линиями регрессии, а между двумя векторами в $n$-мерном пространстве исходных данных. Я пока ещё не разобрался в такой интерпретации. Две ссылки с описанием такого подхода:
1) Thirteen Ways to Look at the Correlation Coefficient, подход №8;
2) А more elegant view of the correlation coefficient.

[longstreet]

Непонятный для меня момент (из второй ссылки, см. предыдущее сообщение):

Цитата:

we normalize $x$ and $y$ by subtracting from each data point the mean of the data set

Именно, для коэффициента корреляции осуществляется переход от

$$ r=\frac{\sum u v}{\sqrt{\sum u^2}\sqrt{\sum v^2}} $$

путём замены/нормализации $u=x-\hat{x}$ и $v=y-\hat{y}$ к

$$ r=\frac{\sum (x-\hat{x})(y-\hat{y})}{\sqrt{\sum (x-\hat{x})^2}\sqrt{\sum (y-\hat{y})^2}} $$

Собственно, зачем эта замена делается, и почему она именно такая (вычитая среднее арифметическое, а не нормализация к другой шкале)?
Вообще, границы интервала $[-1;1]$ при этой "нормализации" не изменяются никак -- так что это такая за нормализация?

[Александрович]

longstreet в сообщении #744853 писал(а):

По-видимому, коэффициент корреляции $r$ связан с (нормированным) углом наклона регрессии (вроде линию регрессии на глаз провести можно).
Какой вид имеет эта связь? Хотелось бы увидеть формулу.

$r_{xy}=a\frac{\sigma_x}{\sigma_y}$ для линейной регрессии $y=ax+b$.

[Евгений Машеров]

Замена делается для инвариантности к выбору начала отсчёта (зависимость средней температуры от высоты над уровнем моря - чтобы выбор градусов Кельвина и Цельсия, а равно высоты от Кронштадтского футштока или от моря в Анталии, Констанцы или Остенде не повлиял на результат)

(Оффтоп)

Инвариантность к выбору единиц измерения обеспечивается делением на знаменатель, дающей безразмерную величину (обычно всё же, по крайней мере в русской литературе, такое вычитание именуют "центрированием", а "нормирование" - деление на стандартное отклонение).
Среднее арифметическое не является единственно возможным выбором, можно использовать медиану, скажем, или середину размаха. Однако оно легко считается, широко используется в разных сферах и, last, but not least, позволяет упростить многие выкладки.

[Евгений Машеров]

longstreet в сообщении #748490 писал(а):

Вообще, границы интервала $[-1;1]$ при этой "нормализации" не изменяются никак -- так что это такая за нормализация?

Ну, принципиально они те же, в том смысле, что и без нормализации не выйдут за плюс-минус единицу.
Но попробуйте посчитать без вычитания. Простенький пример.
Х=(99, 100, 101) У=(-1, 0, 1)
Очевидно, точная линейная связь. R=1
А теперь то же без вычитания средних.
$r=\frac {-99+0+101} {173.21\cdot 1.414}=\frac 2 {244.92}=0.0082$
То есть формально "попали в интервал", а фактически никакой информации о связи не получено.

[longstreet]

Евгений Машеров в сообщении #748503 писал(а):

Инвариантность к выбору единиц измерения обеспечивается делением на знаменатель

Так делением или вычитанием (там же замена $u=x-\hat{x}$, а не $u=\frac{x}{\hat{x}}$)?

[Евгений Машеров]

Вычитание убирает зависимость от начала отсчёта (Цельсий или Кельвин, Фаренгейт или Ренкин, Кронштадт или Остенде...), деление убирает зависимость от единицы измерения (пикофарады или сантиметры. фунты или килограммы, футы или метры...). Только одного действия недостаточно.

[longstreet]

Кажется, понятно! Евгений Машеров, спасибо большое Вам!