МНК с особой точкой

[Евгений Машеров]

Решение явно неправильно, как и Ваше. Отчего - пока не скажу. Может, завтра выкрою время на расчёты, а навскидку ошибку не вижу (это касательно формулы Себера, в Вашем решении ошибка в том, что в МНК минимизируется не геометрическое расстояние линии от точек, а сумма квадратов отклонений по y - а она минимальна при решении y=1, тогда сумма квадратов равна 16, тогда как в Вашем решении она 18).

[Алексей К.]

pvyu в сообщении #935547 писал(а):

Зададим две “экспериментальные” точки w1(1, 1) и w2(4, 4).
Аппроксимирующую функцию зададим как линейную комбинацию $F(x)=a_{1}\cdot f_{1}(x)+a_{2}\cdot f_{2}(x)$, где $f_{1}(x)=1$ и $f_{2}(x)=x$. Понятно, что решению с минимальными ошибками удовлетворяют значения коэффициентов a1=0, a2=1.
Введём линейное ограничение: аппроксимирующая функция F(x) должна проходить через точку w3(4, 1). Точки w1, w2, w3 образуют прямоугольный треугольник с гипотенузой w1w2.

А я задам две “экспериментальные” точки $w_1=(1\text{cm}, 1\text{min})$ и $w_2=(4\text{cm}, 4\text{min})$.
Введём линейное ограничение: аппроксимирующая функция $F(x)$ должна проходить через точку $w_3=(4\text{cm}, 1\text{min})$. Точки $w_1$, $w_2$, $w_3$ образуют прямоугольный треугольник с гипотенузой $|w_1w_2|=\sqrt{(1\text{cm})^2+(3\text{min})^2}\approx\sqrt{10}\text{кг}$.

А если мы вместо минут секунды возьмём, или метры вместо сантиметров, то будет другая бессмыcленная гипотенуза, и другая бессмысcccленная высота, и другое бессмыссcccccленное решение.

-- 25 ноя 2014, 01:20:42 --

Если Ваша задача "геометрическая", т.е. точки $(x,y)$ имеют компоненты $x,y$ одинаковой размерности,
то рассуждения о гипотенузах и высотах допустимы.
Но следует понимать, что задачи построения "наилучшей" прямой
в смысле $\min\Sigma(ax_i+b-y_i)^2$, и
в смысле $\min\Sigma(ay_i+b-x_i)^2$, и
в смысле $\min\Sigma(y_i\cos\alpha-x_i\sin\alpha-L)^2$ ---
все они (все три) имеют разные решения (т.е. дают разные "наинаилучшие" прямые)).

Последняя к тому же нелинейна, и путать одно с другим (т.е. так легко переходить "от катетов к гипотенузе") нельзя даже в случае одинаковой размерности по осям.

-- 25 ноя 2014, 01:46:56 --

Это не имеет отношения к делу.
Даже если это придаёт некую осмысленность таким "гипотенузам".

Это был ответ на уже удалённое сообщение-возражение (не помню кого) о том, что в какой-то там системе (не помню какой) все физические величины имеют одинаковую размерность (не помню какую).

[Алексей К.]

Алексей К. в сообщении #935736 писал(а):

треугольник с гипотенузой $|w_1w_2|=\sqrt{(1\text{cm})^2+(3\text{min})^2}\approx\sqrt{10}\text{кг}$.

Исправить почему-то не получается. Следует читать: $|w_1w_2|=\sqrt{(3\text{cm})^2+(3\text{min})^2}\approx\sqrt{18}\text{кг}$

[Lia]

pvyu
Замечание за неоформление формул post935547.html#p935547 Оформляйте все, пожалуйста.

[Александрович]

Пусть задана точка $(x_0;y_0)$, тогда замена $x_i-x_0$ и $y_i-y_0$ приводит к уравнению аппроксимации без нулевого члена. Далее по стандартному МНК.

[Евгений Машеров]

Александрович в сообщении #935790 писал(а):

Пусть задана точка $(x_0;y_0)$, тогда замена $x_i-x_0$ и $y_i-y_0$ приводит к уравнению аппроксимации без нулевого члена. Далее по стандартному МНК.

Ну, это я предлагал в первых же постах. Но ТС это не устроило, насколько я понимаю - он непременно хочет рассматривать свободный член, как равноправный регрессор, а при таком приёме он обнуляется. Что ничему не мешает, но отчего-то отвергнуто.

[Александрович]

Он хоть и обнуляется, но при обратной замене возвращается.

[pvyu]

Да, действительно.
При задании особой точке w3 координат (5, 0), при этом данная точка лежит на высоте, решение по Себеру из книги "Линейные регрессионный анализ" имеет вид:
$a_{B}=\begin{pmatrix} 9.04494\\-1.80899 \end{pmatrix}$, однако в этом случае решением, которое даёт минимальное отклонение, является высота
$a_{B}=\begin{pmatrix} 5\\-1 \end{pmatrix}$.
При этом матрицы B и C имеют значения:
$B=\begin{pmatrix} 1 & 5 \end{pmatrix}$
$C=\begin{pmatrix} 0 \end{pmatrix}$
Как же всё же решается задача достижения минимальных ошибок при наличии линейных ограничений?

-- 25.11.2014, 12:21 --

Евгений Машеров в сообщении #935692 писал(а):

Решение явно неправильно, как и Ваше. Отчего - пока не скажу. Может, завтра выкрою время на расчёты, а навскидку ошибку не вижу (это касательно формулы Себера, в Вашем решении ошибка в том, что в МНК минимизируется не геометрическое расстояние линии от точек, а сумма квадратов отклонений по y - а она минимальна при решении y=1, тогда сумма квадратов равна 16, тогда как в Вашем решении она 18).

Да. Благодарю за замечание.

[pvyu]

Кажется, что вывод решения у Себера для МНК с линейными ограничениями корректен.
Однако простейшие проверки показывают, что это не так.
При построении банальных аппроксимации по точкам параболы, очевидно, что решение не корректно.
На рисунке показана аппроксимация точек параболы прямой, проходящей через точку w6.
Данная прямая должна уметь выражение $f_{1}(x)=1$, но решение другое.

При этом матрицы системы и матрицы линейных ограничений задаются верно.
На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.

На сколько могу понимать, всё было сделано корректно.
Подскажите, пожалуйста, иные методы для МНК с ограничениями.

[Евгений Машеров]

А можно подробностей, относительно Вашей программы расчёта?
А то у меня результат для первой задачи иной, отличный и от Вашего интуитивного y=1, и от представленного расчёта. У меня решение имеет вид y=x-3, что даёт сумму квадратов, равную 4. Как для Вашего интуитивного, так и для представленного на графике суммы квадратов равны 10.

[ИСН]

y=x-4 не проходит через точку w6.

[Евгений Машеров]

x-3, сорри за опечатку. Исправил.

[Александрович]

pvyu в сообщении #937359 писал(а):

Подскажите, пожалуйста, иные методы для МНК с ограничениями.

Под ограничениями вы подразумеваете одно единственное условие, что линия регрессии обязана пройти через заданную точку?

-- Сб ноя 29, 2014 14:02:50 --

pvyu в сообщении #937359 писал(а):

На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.

Вопрос по жирно выделенному. Чему? Между собой?
МНК работает так, чтобы сумма квадратов отклонений точек от кривой была минимальной. Вам требуется какой-то другой метод?

[pvyu]

Евгений Машеров в сообщении #937612 писал(а):

А можно подробностей, относительно Вашей программы расчёта?
А то у меня результат для первой задачи иной, отличный и от Вашего интуитивного y=1, и от представленного расчёта. У меня решение имеет вид y=x-3, что даёт сумму квадратов, равную 4. Как для Вашего интуитивного, так и для представленного на графике суммы квадратов равны 10.

Решение y=x-3 не может давать сумму квадратов, равную 4, поскольку квадраты для точек: w1 $(4+1)^2$, w2 $(1-0)^2$, w3 $(0-1)^2$, w4 $(2-1)^2$, w5 $(4-3)^2$, сумма равна 29. По всей видимости, точка w1(2, 4) не очевидно обозначена на картинке.

Используемые в выражении матрицы для аппроксимации прямой задавались так:
$X=\begin{bmatrix}5 & 20 \\20 & 90 \end{bmatrix}$
$Y=\begin{bmatrix}10 \\40\end{bmatrix}$
$B=\begin{bmatrix}1 & 4\end{bmatrix}$
$C=\begin{bmatrix}1\end{bmatrix}$
Результат (некорректный):
$A=\begin{bmatrix}-7\\2\end{bmatrix}$
Обращение матриц выполнялось по данному алгоритму
Требуется ли другая информация?

Александрович в сообщении #937700 писал(а):

Под ограничениями вы подразумеваете одно единственное условие, что линия регрессии обязана пройти через заданную точку?

Нет, условий может быть несколько, в т.ч. задание производных в одной, либо нескольких точках.

Александрович в сообщении #937700 писал(а):

pvyu писал(а):

На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.

Вопрос по жирно выделенному. Чему? Между собой?
МНК работает так, чтобы сумма квадратов отклонений точек от кривой была минимальной. Вам требуется какой-то другой метод?

Метод МНК подойдет. Да, расстояния должны быть равны между собой. Умозрительно кажется, что для данной задачи такое условие удовлетворяет требованиям МНК.

[Евгений Машеров]

В общем, у меня впечатление, что у Вас ошибка в вычислениях. Просьба предоставить текст программы или, скажем, MATLAB-овский скрипт (если вручную - промежуточные результаты и порядок вычислений; у меня некоторое подозрение касательно обращения матриц).
Кроме того, отмечу, что визуальная оценка линии исходит из близости её к точкам в обычном геометрическом смысле, по кратчайшему расстоянию, перпендикуляру, опущенному из точки на линию, а в МНК используется разница лишь по оси Y. Собственно, есть метод, использующий "геометрическое" расстояние, он предполагает, что с ошибкой измеряются и X, и Y. Но в обычном МНК - отклонения берутся лишь по зависимой переменной.