МНК с особой точкой

[pvyu]

В двумерном пространстве задан набор экспериментальных данных $Y_j$, $X_j$.
Задан набор известных функций $f_i(x)$ (интерпретируется как массив указателей на заданные функции).
Набор экспериментальных данных аппроксимируется функцией, которая является линейной комбинацией известных функций $f_i(x)$.
Общая задача МНК: найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные.
Такая задача решена вполне классическим способом.

А как сделать так:

Задача 1.
Найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные
и при этом проходила бы через известную точку А с заранее заданными координатами.

Задача 2.
Помимо собственно функций $f_i(x)$ также известны функции,
которые определяют производные заданных функций
(имеем два массива указателей на функции: первый задаёт собственно функции,
второй - функции, которые описывают производные функций первого массива соответственно).
Требуется:
Найти такие значения весовых коэффициентов данной линейной комбинации
при которых результирующая функция наиболее оптимальным образом описывала бы экспериментальные данные
и при этом проходила бы через известную точку А с заранее заданными координатами и имела бы в ней
заранее заданное значение производной.

Благодарю за раздумья.

[Roxkisabsver]

А нельзя точку "А" внести в экспериментальные данные?

[ИСН]

А толку-то? От этого приближение не начнёт через неё проходить, разве что случайно.
Нет, тут не точка. Тут дело фантастическое, страшное... Короче, надо повторить вывод обычного МНК, только сразу - с учётом ограничений.

[pvyu]

Да, вот только принципы построения вывода для общего случая с учётом ограничений совершенно не понятны.

[ИСН]

Можно это делать нормально, а можно по-простому. Второе выглядит так: коэффициент для последней функции выражаем через все остальные (с учётом условия прохождения через точку), а для остальных выполняем те же действия, как в обычном МНК.

[Evgenjy]

Roxkisabsver в сообщении #908843 писал(а):

А нельзя точку "А" внести в экспериментальные данные?

ИСН в сообщении #908847 писал(а):

А толку-то? От этого приближение не начнёт через неё проходить, разве что случайно.

Можно точку $A$ ввести много-много раз (раз в десять больше, чем всего точек). Примерно пройдет. Это не точный метод, зато голову ломать не надо.

[Евгений Машеров]

Точка А имеет координаты $x_A; y_A$
Переходим к функциям $g_i(x)=f_i(x)-f_i(x_A)$ и $v=y-y_A$
Строим регрессию v на G (без свободного члена)

[мат-ламер]

pvyu
Вы руками считаете или какими-то программами пользуетесь? Или сами программируете?

[pvyu]

мат-ламер
Сам программирую

Евгений Машеров
Интересное предложение, с первого взгляда не очевидно, что метод будет работать.
Этот способ не универсален, одна из функций $f_i(x)$ линейной комбинации
может быть тождественно равна 1 (как раз для автоматического нахождения свободного члена),
в этом случае предложенный метод не может быть применим.

ИСН в сообщении #908850 писал(а):

Можно это делать нормально, а можно по-простому. Второе выглядит так: коэффициент для последней функции выражаем через все остальные (с учётом условия прохождения через точку), а для остальных выполняем те же действия, как в обычном МНК.

Пробовать так можно, но следует пытаться найти оптимальное прохождение.
Не понятно как в общем случае подойти к постановке при "нормальном" подходе.

[мат-ламер]

Как вариант (возможно, гораздо сложней, чем предложенные) считать такую задачу МНК как задачу квадратичного программирования с ограничениями типа равенств. И воспользоваться стандартными оптимизационными методами типа методом модифицированной функции Лагранжа. Ещё вариант - почитать к-либо книги (Лоусон, Хенсон, например) и посмотреть как люди делают. Но самому сначала помучиться - гораздо поучительней.

[pvyu]

Функции могут быть произвольны, будет ли уместно квадратичное программирование (мало что о нём знаю).
Изложена ли эта нестандартная задача в литературе? Интересно.

[мат-ламер]

pvyu в сообщении #908957 писал(а):

будет ли уместно квадратичное программирование (мало что о нём знаю).

Пробуйте обдумывать разные методы. Метод, который предложил ИСН по сути является методом исключения неизвестных и будет попроще.

-- Ср сен 17, 2014 22:33:05 --

pvyu в сообщении #908957 писал(а):

Изложена ли эта нестандартная задача в литературе? Интересно.

Я думаю, что в учебниках по регрессионному анализу изложена.

[Евгений Машеров]

Кстати, в п.2 производная по чему предполагается?

-- 17 сен 2014, 22:19 --

Решение есть у Себера.
Для задачи оценивания модели $y=Xa+\varepsilon$ при ограничениях $Ba=c$ решение имеет вид $a_B=\hat{a}+(X^TX)^{-1}B^T(B(X^TX)^{-1}B^T)^{-1}(c-B\hat{a})$ где $\hat{a}=(X^TX)^{-1}X^Ty$
Вывести можно через Лагранжа или через проекции.

[pvyu]

Наконец-то была возможность реализовать предложенное решение из книги Себера.

Благодарю Евгений Машеров за предложенный вариант решения.

Решение, приведённое у Себера, выводится несколькими способами, поэтому сомневаться в нём, возможно, не следует, однако можно утверждать, что данное решение не обеспечивает минимальную ошибку $\varepsilon$.
Для демонстрации рассмотрим задачу:
Зададим две “экспериментальные” точки w1(1, 1) и w2(4, 4).
Аппроксимирующую функцию зададим как линейную комбинацию $F(x)=a_{1}\cdot f_{1}(x)+a_{2}\cdot f_{2}(x)$, где $f_{1}(x)=1$ и $f_{2}(x)=x$. Понятно, что решению с минимальными ошибками удовлетворяют значения коэффициентов a1=0, a2=1.
Введём линейное ограничение: аппроксимирующая функция F(x) должна проходить через точку w3(4, 1). Точки w1, w2, w3 образуют прямоугольный треугольник с гипотенузой w1w2.
Очевидно, что решением данной задачи является высота треугольника – прямая с уравнением $F(x)=5-x$, т.е. a1=5, a2=-1. Решение у Себера даёт иной результат: a1=11, a2=-2.5, при этом прямая проходит через заданную точку w3, но условие минимальных квадратов не выполняется. Непонятно.

Приведу для данной задачи значения матриц и векторов, используемых в выражении у Себера:
$X=\begin{pmatrix} 2 &5 \\ 5&17 \end{pmatrix}$
$Y=\begin{pmatrix} 5\\17 \end{pmatrix}$
$B=\begin{pmatrix} 1 & 4 \end{pmatrix}$
$C=\begin{pmatrix} 1 \end{pmatrix}$
При этом имеем решение:
$a_{B}=\begin{pmatrix} 11\\-2.5 \end{pmatrix}$,
а вовсе не
$a_{B}=\begin{pmatrix} 5\\-1 \end{pmatrix}$
Казалось бы, всё задано корректно, но результат явно не тот.
Уважаемые коллеги, почему так?

[Evgenjy]

pvyu в сообщении #935547 писал(а):

Очевидно, что решением данной задачи является высота треугольника – прямая с уравнением $F(x)=5-x$, т.е. a1=5, a2=-1.

Прямая перпендикулярная высоте и проходящая через w3 дает те же отклонения.