2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: МНК с особой точкой
Сообщение24.11.2014, 22:23 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Решение явно неправильно, как и Ваше. Отчего - пока не скажу. Может, завтра выкрою время на расчёты, а навскидку ошибку не вижу (это касательно формулы Себера, в Вашем решении ошибка в том, что в МНК минимизируется не геометрическое расстояние линии от точек, а сумма квадратов отклонений по y - а она минимальна при решении y=1, тогда сумма квадратов равна 16, тогда как в Вашем решении она 18).

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 00:11 


29/09/06
4552
pvyu в сообщении #935547 писал(а):
Зададим две “экспериментальные” точки w1(1, 1) и w2(4, 4).
Аппроксимирующую функцию зададим как линейную комбинацию $F(x)=a_{1}\cdot f_{1}(x)+a_{2}\cdot f_{2}(x)$, где $f_{1}(x)=1$ и $f_{2}(x)=x$. Понятно, что решению с минимальными ошибками удовлетворяют значения коэффициентов a1=0, a2=1.
Введём линейное ограничение: аппроксимирующая функция F(x) должна проходить через точку w3(4, 1). Точки w1, w2, w3 образуют прямоугольный треугольник с гипотенузой w1w2.


А я задам две “экспериментальные” точки $w_1=(1\text{cm}, 1\text{min})$ и $w_2=(4\text{cm}, 4\text{min})$.
Введём линейное ограничение: аппроксимирующая функция $F(x)$ должна проходить через точку $w_3=(4\text{cm}, 1\text{min})$. Точки $w_1$, $w_2$, $w_3$ образуют прямоугольный треугольник с гипотенузой $|w_1w_2|=\sqrt{(1\text{cm})^2+(3\text{min})^2}\approx\sqrt{10}\text{кг}$.

А если мы вместо минут секунды возьмём, или метры вместо сантиметров, то будет другая бессмыcленная гипотенуза, и другая бессмысcccленная высота, и другое бессмыссcccccленное решение.

-- 25 ноя 2014, 01:20:42 --

Если Ваша задача "геометрическая", т.е. точки $(x,y)$ имеют компоненты $x,y$ одинаковой размерности,
то рассуждения о гипотенузах и высотах допустимы.
Но следует понимать, что задачи построения "наилучшей" прямой
в смысле $\min\Sigma(ax_i+b-y_i)^2$, и
в смысле $\min\Sigma(ay_i+b-x_i)^2$, и
в смысле $\min\Sigma(y_i\cos\alpha-x_i\sin\alpha-L)^2$ ---
все они (все три) имеют разные решения (т.е. дают разные "наинаилучшие" прямые)).

Последняя к тому же нелинейна, и путать одно с другим (т.е. так легко переходить "от катетов к гипотенузе") нельзя даже в случае одинаковой размерности по осям.

-- 25 ноя 2014, 01:46:56 --

Это не имеет отношения к делу.
Даже если это придаёт некую осмысленность таким "гипотенузам".

Это был ответ на уже удалённое сообщение-возражение (не помню кого) о том, что в какой-то там системе (не помню какой) все физические величины имеют одинаковую размерность (не помню какую).

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 01:15 


29/09/06
4552
Алексей К. в сообщении #935736 писал(а):
треугольник с гипотенузой $|w_1w_2|=\sqrt{(1\text{cm})^2+(3\text{min})^2}\approx\sqrt{10}\text{кг}$.
Исправить почему-то :D не получается. Следует читать: $|w_1w_2|=\sqrt{(3\text{cm})^2+(3\text{min})^2}\approx\sqrt{18}\text{кг}$

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 01:25 


20/03/14
12041
 !  pvyu
Замечание за неоформление формул post935547.html#p935547 Оформляйте все, пожалуйста.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 03:28 
Аватара пользователя


21/01/09
3923
Дивногорск
Пусть задана точка $(x_0;y_0)$, тогда замена $x_i-x_0$ и $y_i-y_0$ приводит к уравнению аппроксимации без нулевого члена. Далее по стандартному МНК.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 08:34 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Александрович в сообщении #935790 писал(а):
Пусть задана точка $(x_0;y_0)$, тогда замена $x_i-x_0$ и $y_i-y_0$ приводит к уравнению аппроксимации без нулевого члена. Далее по стандартному МНК.


Ну, это я предлагал в первых же постах. Но ТС это не устроило, насколько я понимаю - он непременно хочет рассматривать свободный член, как равноправный регрессор, а при таком приёме он обнуляется. Что ничему не мешает, но отчего-то отвергнуто.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 09:27 
Аватара пользователя


21/01/09
3923
Дивногорск
Он хоть и обнуляется, но при обратной замене возвращается.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение25.11.2014, 11:11 


28/08/14
9
Да, действительно.
При задании особой точке w3 координат (5, 0), при этом данная точка лежит на высоте, решение по Себеру из книги "Линейные регрессионный анализ" имеет вид:
$a_{B}=\begin{pmatrix} 9.04494\\-1.80899 \end{pmatrix}$, однако в этом случае решением, которое даёт минимальное отклонение, является высота
$a_{B}=\begin{pmatrix} 5\\-1 \end{pmatrix}$.
При этом матрицы B и C имеют значения:
$B=\begin{pmatrix} 1 & 5 \end{pmatrix}$
$C=\begin{pmatrix} 0 \end{pmatrix}$
Как же всё же решается задача достижения минимальных ошибок при наличии линейных ограничений?

-- 25.11.2014, 12:21 --

Евгений Машеров в сообщении #935692 писал(а):
Решение явно неправильно, как и Ваше. Отчего - пока не скажу. Может, завтра выкрою время на расчёты, а навскидку ошибку не вижу (это касательно формулы Себера, в Вашем решении ошибка в том, что в МНК минимизируется не геометрическое расстояние линии от точек, а сумма квадратов отклонений по y - а она минимальна при решении y=1, тогда сумма квадратов равна 16, тогда как в Вашем решении она 18).

Да. Благодарю за замечание.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение28.11.2014, 11:58 


28/08/14
9
Кажется, что вывод решения у Себера для МНК с линейными ограничениями корректен.
Однако простейшие проверки показывают, что это не так.
При построении банальных аппроксимации по точкам параболы, очевидно, что решение не корректно.
На рисунке показана аппроксимация точек параболы прямой, проходящей через точку w6.
Данная прямая должна уметь выражение $f_{1}(x)=1$, но решение другое.
Изображение
При этом матрицы системы и матрицы линейных ограничений задаются верно.
На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.
Изображение
На сколько могу понимать, всё было сделано корректно.
Подскажите, пожалуйста, иные методы для МНК с ограничениями.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение28.11.2014, 23:28 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
А можно подробностей, относительно Вашей программы расчёта?
А то у меня результат для первой задачи иной, отличный и от Вашего интуитивного y=1, и от представленного расчёта. У меня решение имеет вид y=x-3, что даёт сумму квадратов, равную 4. Как для Вашего интуитивного, так и для представленного на графике суммы квадратов равны 10.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение28.11.2014, 23:31 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
y=x-4 не проходит через точку w6.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение28.11.2014, 23:34 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
x-3, сорри за опечатку. Исправил.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение29.11.2014, 09:55 
Аватара пользователя


21/01/09
3923
Дивногорск
pvyu в сообщении #937359 писал(а):
Подскажите, пожалуйста, иные методы для МНК с ограничениями.

Под ограничениями вы подразумеваете одно единственное условие, что линия регрессии обязана пройти через заданную точку?

-- Сб ноя 29, 2014 14:02:50 --

pvyu в сообщении #937359 писал(а):
На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.

Вопрос по жирно выделенному. Чему? Между собой?
МНК работает так, чтобы сумма квадратов отклонений точек от кривой была минимальной. Вам требуется какой-то другой метод?

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение29.11.2014, 13:28 


28/08/14
9
Евгений Машеров в сообщении #937612 писал(а):
А можно подробностей, относительно Вашей программы расчёта?
А то у меня результат для первой задачи иной, отличный и от Вашего интуитивного y=1, и от представленного расчёта. У меня решение имеет вид y=x-3, что даёт сумму квадратов, равную 4. Как для Вашего интуитивного, так и для представленного на графике суммы квадратов равны 10.


Решение y=x-3 не может давать сумму квадратов, равную 4, поскольку квадраты для точек: w1 $(4+1)^2$, w2 $(1-0)^2$, w3 $(0-1)^2$, w4 $(2-1)^2$, w5 $(4-3)^2$, сумма равна 29. По всей видимости, точка w1(2, 4) не очевидно обозначена на картинке.

Используемые в выражении матрицы для аппроксимации прямой задавались так:
$X=\begin{bmatrix}5 & 20 \\20 & 90 \end{bmatrix}$
$Y=\begin{bmatrix}10 \\40\end{bmatrix}$
$B=\begin{bmatrix}1 & 4\end{bmatrix}$
$C=\begin{bmatrix}1\end{bmatrix}$
Результат (некорректный):
$A=\begin{bmatrix}-7\\2\end{bmatrix}$
Обращение матриц выполнялось по данному алгоритму
Требуется ли другая информация?

Александрович в сообщении #937700 писал(а):
Под ограничениями вы подразумеваете одно единственное условие, что линия регрессии обязана пройти через заданную точку?

Нет, условий может быть несколько, в т.ч. задание производных в одной, либо нескольких точках.

Александрович в сообщении #937700 писал(а):
pvyu писал(а):
На следующем рисунке показана аппроксимация тех же точек, параболой, также проходящей через w6.
Парабола должна проходить так, что расстояния по оси y от точек w1, w2, w4, w5 до кривой должны быть равны,
при этом вершина параболы должна находиться в точке w6.

Вопрос по жирно выделенному. Чему? Между собой?
МНК работает так, чтобы сумма квадратов отклонений точек от кривой была минимальной. Вам требуется какой-то другой метод?

Метод МНК подойдет. Да, расстояния должны быть равны между собой. Умозрительно кажется, что для данной задачи такое условие удовлетворяет требованиям МНК.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение29.11.2014, 13:53 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
В общем, у меня впечатление, что у Вас ошибка в вычислениях. Просьба предоставить текст программы или, скажем, MATLAB-овский скрипт (если вручную - промежуточные результаты и порядок вычислений; у меня некоторое подозрение касательно обращения матриц).
Кроме того, отмечу, что визуальная оценка линии исходит из близости её к точкам в обычном геометрическом смысле, по кратчайшему расстоянию, перпендикуляру, опущенному из точки на линию, а в МНК используется разница лишь по оси Y. Собственно, есть метод, использующий "геометрическое" расстояние, он предполагает, что с ошибкой измеряются и X, и Y. Но в обычном МНК - отклонения берутся лишь по зависимой переменной.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group