2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 МНК с особой точкой
Сообщение17.09.2014, 16:33 


28/08/14
9
В двумерном пространстве задан набор экспериментальных данных $Y_j$, $X_j$.
Задан набор известных функций $f_i(x)$ (интерпретируется как массив указателей на заданные функции).
Набор экспериментальных данных аппроксимируется функцией, которая является линейной комбинацией известных функций $f_i(x)$.
Общая задача МНК: найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные.
Такая задача решена вполне классическим способом.

А как сделать так:

Задача 1.
Найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные
и при этом проходила бы через известную точку А с заранее заданными координатами.

Задача 2.
Помимо собственно функций $f_i(x)$ также известны функции,
которые определяют производные заданных функций
(имеем два массива указателей на функции: первый задаёт собственно функции,
второй - функции, которые описывают производные функций первого массива соответственно).
Требуется:
Найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные
и при этом проходила бы через известную точку А с заранее заданными координатами и имела бы в ней
заранее заданное значение производной.

Благодарю за раздумья.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 16:39 


26/06/13
78
А нельзя точку "А" внести в экспериментальные данные?

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 16:49 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
А толку-то? От этого приближение не начнёт через неё проходить, разве что случайно.
Нет, тут не точка. Тут дело фантастическое, страшное... Короче, надо повторить вывод обычного МНК, только сразу - с учётом ограничений.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 16:53 


28/08/14
9
Да, вот только принципы построения вывода для общего случая с учётом ограничений совершенно не понятны.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 16:59 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
Можно это делать нормально, а можно по-простому. Второе выглядит так: коэффициент для последней функции выражаем через все остальные (с учётом условия прохождения через точку), а для остальных выполняем те же действия, как в обычном МНК.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 18:20 


13/08/14
349
Roxkisabsver в сообщении #908843 писал(а):
А нельзя точку "А" внести в экспериментальные данные?

ИСН в сообщении #908847 писал(а):
А толку-то? От этого приближение не начнёт через неё проходить, разве что случайно.

Можно точку $A$ ввести много-много раз (раз в десять больше, чем всего точек). Примерно пройдет. Это не точный метод, зато голову ломать не надо.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 20:22 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Точка А имеет координаты $x_A; y_A$
Переходим к функциям $g_i(x)=f_i(x)-f_i(x_A)$ и $v=y-y_A$
Строим регрессию v на G (без свободного члена)

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 20:29 
Заслуженный участник
Аватара пользователя


30/01/09
6591
pvyu
Вы руками считаете или какими-то программами пользуетесь? Или сами программируете?

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 20:57 


28/08/14
9
мат-ламер
Сам программирую

Евгений Машеров
Интересное предложение, с первого взгляда не очевидно, что метод будет работать.
Этот способ не универсален, одна из функций $f_i(x)$ линейной комбинации
может быть тождественно равна 1 (как раз для автоматического нахождения свободного члена),
в этом случае предложенный метод не может быть применим.

ИСН в сообщении #908850 писал(а):
Можно это делать нормально, а можно по-простому. Второе выглядит так: коэффициент для последней функции выражаем через все остальные (с учётом условия прохождения через точку), а для остальных выполняем те же действия, как в обычном МНК.

Пробовать так можно, но следует пытаться найти оптимальное прохождение.
Не понятно как в общем случае подойти к постановке при "нормальном" подходе.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 21:04 
Заслуженный участник
Аватара пользователя


30/01/09
6591
Как вариант (возможно, гораздо сложней, чем предложенные) считать такую задачу МНК как задачу квадратичного программирования с ограничениями типа равенств. И воспользоваться стандартными оптимизационными методами типа методом модифицированной функции Лагранжа. Ещё вариант - почитать к-либо книги (Лоусон, Хенсон, например) и посмотреть как люди делают. Но самому сначала помучиться - гораздо поучительней.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 21:09 


28/08/14
9
Функции могут быть произвольны, будет ли уместно квадратичное программирование (мало что о нём знаю).
Изложена ли эта нестандартная задача в литературе? Интересно.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 21:32 
Заслуженный участник
Аватара пользователя


30/01/09
6591
pvyu в сообщении #908957 писал(а):
будет ли уместно квадратичное программирование (мало что о нём знаю).

Пробуйте обдумывать разные методы. Метод, который предложил ИСН по сути является методом исключения неизвестных и будет попроще.

-- Ср сен 17, 2014 22:33:05 --

pvyu в сообщении #908957 писал(а):
Изложена ли эта нестандартная задача в литературе? Интересно.

Я думаю, что в учебниках по регрессионному анализу изложена.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение17.09.2014, 21:58 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Кстати, в п.2 производная по чему предполагается?

-- 17 сен 2014, 22:19 --

Решение есть у Себера.
Для задачи оценивания модели $y=Xa+\varepsilon$ при ограничениях $Ba=c$ решение имеет вид $a_B=\hat{a}+(X^TX)^{-1}B^T(B(X^TX)^{-1}B^T)^{-1}(c-B\hat{a})$ где $\hat{a}=(X^TX)^{-1}X^Ty$
Вывести можно через Лагранжа или через проекции.

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение24.11.2014, 17:22 


28/08/14
9
Наконец-то была возможность реализовать предложенное решение из книги Себера.

Благодарю Евгений Машеров за предложенный вариант решения.

Решение, приведённое у Себера, выводится несколькими способами, поэтому сомневаться в нём, возможно, не следует, однако можно утверждать, что данное решение не обеспечивает минимальную ошибку $\varepsilon$.
Для демонстрации рассмотрим задачу:
Зададим две “экспериментальные” точки w1(1, 1) и w2(4, 4).
Аппроксимирующую функцию зададим как линейную комбинацию $F(x)=a_{1}\cdot f_{1}(x)+a_{2}\cdot f_{2}(x)$, где $f_{1}(x)=1$ и $f_{2}(x)=x$. Понятно, что решению с минимальными ошибками удовлетворяют значения коэффициентов a1=0, a2=1.
Введём линейное ограничение: аппроксимирующая функция F(x) должна проходить через точку w3(4, 1). Точки w1, w2, w3 образуют прямоугольный треугольник с гипотенузой w1w2.
Очевидно, что решением данной задачи является высота треугольника – прямая с уравнением $F(x)=5-x$, т.е. a1=5, a2=-1. Решение у Себера даёт иной результат: a1=11, a2=-2.5, при этом прямая проходит через заданную точку w3, но условие минимальных квадратов не выполняется. Непонятно.

Приведу для данной задачи значения матриц и векторов, используемых в выражении у Себера:
$X=\begin{pmatrix} 2 &5 \\ 5&17 \end{pmatrix}$
$Y=\begin{pmatrix} 5\\17 \end{pmatrix}$
$B=\begin{pmatrix} 1 & 4 \end{pmatrix}$
$C=\begin{pmatrix} 1 \end{pmatrix}$
При этом имеем решение:
$a_{B}=\begin{pmatrix} 11\\-2.5 \end{pmatrix}$,
а вовсе не
$a_{B}=\begin{pmatrix} 5\\-1 \end{pmatrix}$
Казалось бы, всё задано корректно, но результат явно не тот.
Уважаемые коллеги, почему так?

 Профиль  
                  
 
 Re: МНК с особой точкой
Сообщение24.11.2014, 22:14 


13/08/14
349
pvyu в сообщении #935547 писал(а):
Очевидно, что решением данной задачи является высота треугольника – прямая с уравнением $F(x)=5-x$, т.е. a1=5, a2=-1.

Прямая перпендикулярная высоте и проходящая через w3 дает те же отклонения.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group