2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 
 Как связаны регрессия и корреляция?
Сообщение10.07.2013, 15:16 
Пытаюсь понять, как можно наглядно представить коэффициент корреляции. (Чтобы его можно было оценить "на глаз" из диаграммы рассеяния.)
По-видимому, коэффициент корреляции $r$ связан с (нормированным) углом наклона регрессии (вроде линию регрессии на глаз провести можно).
Какой вид имеет эта связь? Хотелось бы увидеть формулу.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение10.07.2013, 15:38 
Аватара пользователя
"На глаз" - по форме эллипса рассеяния.
Не на глаз - строите регрессии Y на X и X на Y. Косинус угла меж ними равен коэффициенту корреляции.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение10.07.2013, 15:56 
Евгений Машеров в сообщении #744858 писал(а):
"На глаз" - по форме эллипса рассеяния.

Я не точно выразился: хотелось бы на глаз оценить сколько-нибудь количественно, а не качественно при сравнении двух $r$.
Тогда baloon rule?

Евгений Машеров в сообщении #744858 писал(а):
Косинус угла меж ними равен коэффициенту корреляции.

Разве? :shock:

-- 10.07.2013, 16:14 --
Евгений Машеров
Не как косинус угла, а как среднее геометрическое вроде:
$$
r=\pm\sqrt{b_{Y\cdot X}\,\cdot\,b_{X\cdot Y}}
$$
Правильно?

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение10.07.2013, 16:19 
Аватара пользователя
Ну да, произведение наклонов это коэффициент детерминации, а коэффициент корреляции корень из него.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение10.07.2013, 16:28 
longstreet в сообщении #744867 писал(а):
$$
r=\pm\sqrt{b_{Y\cdot X}\,\cdot\,b_{X\cdot Y}}
$$

А почему это так? Откуда это с наглядностью следует?

-- 10.07.2013, 16:29 --

И, всё-таки, как это связано с углом наклона линии регресии (что было бы более очевидно)?

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение10.07.2013, 17:29 
Аватара пользователя
longstreet в сообщении #744882 писал(а):
И, всё-таки, как это связано с углом наклона линии регресии (что было бы более очевидно)?


Углом наклона которой из линий? X на Y, или Y на X ?

При $r=0$ эти линии перпендикулярны.
При $|r|=1$ эти линии совпадают.
А наклон может быть любой.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение11.07.2013, 08:10 
Аватара пользователя
Непосредственно выразить безразмерный коэффициент корреляции через наклон линии регрессии, величину размерную и зависящую от выбора единиц измерения (к примеру, если коэффициент регрессии веса человека на рост, выраженные в сантиметрах и килограммах, равен 1 с размерностью килограмм/сантиметр, то для измерений в фунтах и дюймах уже будет 5.6, а если пуды и аршины, то 0.00088) Наклон же линии регрессии X на Y имеет размерность, обратную размерности наклона в регрессии Y на X, и их произведение уже безразмерно. Если выписать выражения для этих наклонов и перемножить их - увидим возведённое в квадрат выражение для корреляции.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение13.07.2013, 20:03 
Евгений Машеров, про косинус угла -- Вы были правы. Но только не между двумя линиями регрессии, а между двумя векторами в $n$-мерном пространстве исходных данных. Я пока ещё не разобрался в такой интерпретации. Две ссылки с описанием такого подхода:
1) Thirteen Ways to Look at the Correlation Coefficient, подход №8;
2) А more elegant view of the correlation coefficient.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение23.07.2013, 03:51 
Непонятный для меня момент (из второй ссылки, см. предыдущее сообщение):
Цитата:
we normalize $x$ and $y$ by subtracting from each data point the mean of the data set

Именно, для коэффициента корреляции осуществляется переход от
$$
r=\frac{\sum u v}{\sqrt{\sum u^2}\sqrt{\sum v^2}}
$$
путём замены/нормализации $u=x-\hat{x}$ и $v=y-\hat{y}$ к
$$
r=\frac{\sum (x-\hat{x})(y-\hat{y})}{\sqrt{\sum (x-\hat{x})^2}\sqrt{\sum (y-\hat{y})^2}}
$$

Собственно, зачем эта замена делается, и почему она именно такая (вычитая среднее арифметическое, а не нормализация к другой шкале)?
Вообще, границы интервала $[-1;1]$ при этой "нормализации" не изменяются никак -- так что это такая за нормализация?

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение23.07.2013, 07:54 
Аватара пользователя
longstreet в сообщении #744853 писал(а):
По-видимому, коэффициент корреляции $r$ связан с (нормированным) углом наклона регрессии (вроде линию регрессии на глаз провести можно).
Какой вид имеет эта связь? Хотелось бы увидеть формулу.

$r_{xy}=a\frac{\sigma_x}{\sigma_y}$ для линейной регрессии $y=ax+b$.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение23.07.2013, 08:11 
Аватара пользователя
Замена делается для инвариантности к выбору начала отсчёта (зависимость средней температуры от высоты над уровнем моря - чтобы выбор градусов Кельвина и Цельсия, а равно высоты от Кронштадтского футштока или от моря в Анталии, Констанцы или Остенде не повлиял на результат)

(Оффтоп)

Изображение

Инвариантность к выбору единиц измерения обеспечивается делением на знаменатель, дающей безразмерную величину (обычно всё же, по крайней мере в русской литературе, такое вычитание именуют "центрированием", а "нормирование" - деление на стандартное отклонение).
Среднее арифметическое не является единственно возможным выбором, можно использовать медиану, скажем, или середину размаха. Однако оно легко считается, широко используется в разных сферах и, last, but not least, позволяет упростить многие выкладки.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение23.07.2013, 10:00 
Аватара пользователя
longstreet в сообщении #748490 писал(а):
Вообще, границы интервала $[-1;1]$ при этой "нормализации" не изменяются никак -- так что это такая за нормализация?


Ну, принципиально они те же, в том смысле, что и без нормализации не выйдут за плюс-минус единицу.
Но попробуйте посчитать без вычитания. Простенький пример.
Х=(99, 100, 101) У=(-1, 0, 1)
Очевидно, точная линейная связь. R=1
А теперь то же без вычитания средних.
$r=\frac {-99+0+101} {173.21\cdot 1.414}=\frac 2 {244.92}=0.0082$
То есть формально "попали в интервал", а фактически никакой информации о связи не получено.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение24.07.2013, 03:06 
Евгений Машеров в сообщении #748503 писал(а):
Инвариантность к выбору единиц измерения обеспечивается делением на знаменатель

Так делением или вычитанием (там же замена $u=x-\hat{x}$, а не $u=\frac{x}{\hat{x}}$)?

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение24.07.2013, 06:07 
Аватара пользователя
Вычитание убирает зависимость от начала отсчёта (Цельсий или Кельвин, Фаренгейт или Ренкин, Кронштадт или Остенде...), деление убирает зависимость от единицы измерения (пикофарады или сантиметры. фунты или килограммы, футы или метры...). Только одного действия недостаточно.

 
 
 
 Re: Как связаны регрессия и корреляция?
Сообщение24.07.2013, 13:24 
Кажется, понятно! Евгений Машеров, спасибо большое Вам!

 
 
 [ Сообщений: 17 ]  На страницу 1, 2  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group