Метод наименьших квадратов

[cool.phenon]

Здравствуйте. Задался вопросом, существует ли алгоритм метода наименьших квадратов для векторнозначной функции? Ответ напрашивается положительный, но нигде не написано об этом явно, и тем более, ни одного соответствующего примера я не нашел. Помогите, пожалуйста, разобраться

[Geen]

А что именно минимизировать хотим?

[profrotter]

А для скалярной функции какой "алгоритм метода наименьших квадратов"?

[dsge]

Регрессировать каждую координату. Или составить функцию правдоподобия, учитывая вид многомерного распределения.

[cool.phenon]

profrotter
Самый стандартный, есть характеристики $x_1,x_2...x_k$, которые принимают значения $x_{11},x_{12}..x_{mk}$ в $m$ экспериментах. На выходе интересуемся какой-то характеристикой $y$, предполагаем линейную зависимость $y=b_0+b_1 x_1+..b_k x_k$. Минимизируем невязку $Xb-y$, находим псевдообратную матрицу. По сути, если бы не дискретность, имели бы дело со скалярной функций $y=f(x_1..x_k)$

А в векторном случае по характеристикам $x_1,x_2..x_k$ выходов несколько -- $y_1..y_l$. По сути, здесь скрыта вектор-функция $(y_1...y_l)=(f_1(x_1...x_k),f_2(x_1...x_k)...f_l(x_1...x_k))$

Geen

В скалярном случае ответ был однозначным, невязку $Xb-y$, а здесь правая часть -- матрица. Выходит, что вместо нормы вектора в этом случае минимизируем норму матрицы?

[profrotter]

На примере геометрических векторов. Есть набор точек пространства $(x_i,y_i,z_i),i=0,...,N-1$ и соответствующих им значений вектора $\overrightarrow{f_i}=f_{xi}\overrightarrow{x^0}+f_{yi}\overrightarrow{y^0}+f_{zi}\overrightarrow{z^0}$, где $\overrightarrow{x^0},\overrightarrow{y^0},\overrightarrow{z^0}$ - единичные орты. Эти данные хотим аппроксимировать функцией

$$\overrightarrow{F}(a_0,...,a_{M-1};x,y,z)=F_x(a_0,...,a_{M-1};x,y,z)\overrightarrow{x^0}+F_y(a_0,...,a_{M-1};x,y,z)\overrightarrow{y^0}+F_z(a_0,...,a_{M-1};x,y,z)\overrightarrow{z^0},$$

где $a_0,...,a_{M-1}$ - параметры аппроксимирующей фукнции. Определим разностный вектор в каждой из точек пространства и качество аппроксимации будем характеризовать суммой квадратов модулей разностных векторов

$$\varepsilon=\sum\limits_{i=0}^{N-1}|\overrightarrow{f_i}-\overrightarrow{F}(a_0,...,a_{M-1};x_i,y_i,z_i)|^2=$$

$$=\sum\limits_{i=0}^{N-1}((f_{xi}-F_x(a_0,...,a_{M-1};x_i,y_i,z_i))^2+(f_{yi}-F_y(a_0,...,a_{M-1};x_i,y_i,z_i))^2+$$

$$+(f_{zi}-F_z(a_0,...,a_{M-1};x_i,y_i,z_i))^2)$$

Рассматривая минимизацию, поскольку внутри суммы складываются квадраты - положительные слагаемые, приходим к трём отдельным "покоординатным" задачам:

$$\sum\limits_{i=0}^{N-1}(f_{xi}-F_x(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$

$$\sum\limits_{i=0}^{N-1}(f_{yi}-F_y(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$

$$\sum\limits_{i=0}^{N-1}(f_{zi}-F_z(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$

В частном случае, параметры $a_0,...,a_{M-1}$ могут быть своими и независимыми для каждой из составляющих $F_{x,y,z}(a_0,...,a_{M-1},x,y,z)$