2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Метод наименьших квадратов
Сообщение21.03.2015, 02:18 
Аватара пользователя


12/05/12
604
Оттуда
Здравствуйте. Задался вопросом, существует ли алгоритм метода наименьших квадратов для векторнозначной функции? Ответ напрашивается положительный, но нигде не написано об этом явно, и тем более, ни одного соответствующего примера я не нашел. Помогите, пожалуйста, разобраться

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение21.03.2015, 02:26 
Заслуженный участник
Аватара пользователя


01/09/13
4318
А что именно минимизировать хотим?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение21.03.2015, 09:15 
Модератор
Аватара пользователя


16/02/11
3788
Бурашево
А для скалярной функции какой "алгоритм метода наименьших квадратов"?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение21.03.2015, 12:50 
Заслуженный участник


05/08/14
1564
Регрессировать каждую координату. Или составить функцию правдоподобия, учитывая вид многомерного распределения.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение21.03.2015, 13:34 
Аватара пользователя


12/05/12
604
Оттуда
profrotter
Самый стандартный, есть характеристики $x_1,x_2...x_k$, которые принимают значения $x_{11},x_{12}..x_{mk}$ в $m$ экспериментах. На выходе интересуемся какой-то характеристикой $y$, предполагаем линейную зависимость $y=b_0+b_1 x_1+..b_k x_k$. Минимизируем невязку $Xb-y$, находим псевдообратную матрицу. По сути, если бы не дискретность, имели бы дело со скалярной функций $y=f(x_1..x_k)$

А в векторном случае по характеристикам $x_1,x_2..x_k$ выходов несколько -- $y_1..y_l$. По сути, здесь скрыта вектор-функция $(y_1...y_l)=(f_1(x_1...x_k),f_2(x_1...x_k)...f_l(x_1...x_k))$

Geen

В скалярном случае ответ был однозначным, невязку $Xb-y$, а здесь правая часть -- матрица. Выходит, что вместо нормы вектора в этом случае минимизируем норму матрицы?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение22.03.2015, 10:59 
Модератор
Аватара пользователя


16/02/11
3788
Бурашево
На примере геометрических векторов. Есть набор точек пространства $(x_i,y_i,z_i),i=0,...,N-1$ и соответствующих им значений вектора $\overrightarrow{f_i}=f_{xi}\overrightarrow{x^0}+f_{yi}\overrightarrow{y^0}+f_{zi}\overrightarrow{z^0}$, где $\overrightarrow{x^0},\overrightarrow{y^0},\overrightarrow{z^0}$ - единичные орты. Эти данные хотим аппроксимировать функцией $$\overrightarrow{F}(a_0,...,a_{M-1};x,y,z)=F_x(a_0,...,a_{M-1};x,y,z)\overrightarrow{x^0}+F_y(a_0,...,a_{M-1};x,y,z)\overrightarrow{y^0}+F_z(a_0,...,a_{M-1};x,y,z)\overrightarrow{z^0},$$ где $a_0,...,a_{M-1}$ - параметры аппроксимирующей фукнции. Определим разностный вектор в каждой из точек пространства и качество аппроксимации будем характеризовать суммой квадратов модулей разностных векторов $$\varepsilon=\sum\limits_{i=0}^{N-1}|\overrightarrow{f_i}-\overrightarrow{F}(a_0,...,a_{M-1};x_i,y_i,z_i)|^2=$$$$=\sum\limits_{i=0}^{N-1}((f_{xi}-F_x(a_0,...,a_{M-1};x_i,y_i,z_i))^2+(f_{yi}-F_y(a_0,...,a_{M-1};x_i,y_i,z_i))^2+$$$$+(f_{zi}-F_z(a_0,...,a_{M-1};x_i,y_i,z_i))^2)$$ Рассматривая минимизацию, поскольку внутри суммы складываются квадраты - положительные слагаемые, приходим к трём отдельным "покоординатным" задачам: $$\sum\limits_{i=0}^{N-1}(f_{xi}-F_x(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$ $$\sum\limits_{i=0}^{N-1}(f_{yi}-F_y(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$ $$\sum\limits_{i=0}^{N-1}(f_{zi}-F_z(a_0,...,a_{M-1};x_i,y_i,z_i))^2\rightarrow \min$$ В частном случае, параметры $a_0,...,a_{M-1}$ могут быть своими и независимыми для каждой из составляющих $F_{x,y,z}(a_0,...,a_{M-1},x,y,z)$

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group