Линейная регрессия и обратная регрессия

[Bridgeport]

Добрый день!

Я хочу посчитать уравнение линейной регрессии (методом наименьших квадратов). У меня есть два вектор $X$ и $Y$. Я произвожу вычисления в Excel и получаю уравнение $f(x) = ax +b$. Затем я меняю переменные местами и получаю уравнение $g(x) = cx+d$.

Почему получается, что $a \neq 1/c$? Я ожидал, что будет $f(g(x)) =x$


Мне кажется я понимаю в чем мое заблуждение. В обычном методе наименьших квадратов (линейная регрессия) мы минимизируем вертикальную составляющую. Если переменные переставить местами, то мы будем минимизировать горизонтальную составляющую. Вот отсюда и разница. А интересно, как называется метод где мы будет минимизировать наименьшее расстояние от точки до прямо (те. минимизировать перпендикуляр от точки до прямой)

Спасибо

[Алексей К.]

Метод называется так же, просто минимизируемый функционал будет другим.
И задача будет уже нелинейной.
Но при этом легко и поучительно решаемой.
Простейший вариант --- минимизируйте $\sum(ax_i+by_i+L)^2$ при условии $a^2+b^2=1$ (потому что это синусы-косинусы, и тогда в скобках честное расстояние от точки до прямой). Переведя точки в систему центра тяжести, сразу увидите $L=0$.

Обсуждения похожих задач на форуме сейчас поищу. Про плоскость сам писал, добавлю ссылку.

[Евгений Машеров]

Посмотрите, например, в Демиденко, "Линейная и нелинейная регрессии".

[Алексей К.]

Здесь про плоскость обсуждалось.

-- 29 ноя 2012, 23:15:13 --

К выводу о том, что "прямой" и "обратный" методы дают разные результаты, можно подойти и так:
чем ближе прямая к вертикальной, тем хуже будет работать "прямой" метод, а то и вовсе упадёт;
чем ближе прямая к горизонтальной, тем хуже будет "обратный" метод, а то и вовсе упадёт.
Для корректно написанного функционала вертикальность-горизонтальность до лампочки, как и любая другая наклонность.

[Александрович]

Bridgeport в сообщении #651596 писал(а):

А интересно, как называется метод где мы будет минимизировать наименьшее расстояние от точки до прямо (те. минимизировать перпендикуляр от точки до прямой)

Метод наименьших расстояний.
http://www.machinelearning.ru/wiki/inde ... 0%B8%D1%8F

[Евгений Машеров]

$ac=R^2$
То есть чем ниже коэффициент корреляции, тем более расходятся линии регрессии y на x и x на y. Совпадают при единичной корреляции, а при нулевой перпендикулярны (одна горизонтальна, другая вертикальна).

[Bridgeport]

Все огромное спасибо за ответы!