2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 12:48 
Аватара пользователя


12/01/14
1127
По-сути все сводится к решению системы нормальных линейных уравнений
$\mathbf (\mathbf F^T \mathbf F)\mathbf b= \mathbf F^T \mathbf y$ (1),
имеющей бесконечно много решений и хорошо изучено в линейной алгебре.
Но матрица $\mathbf F^T \mathbf F$ - вырожденная и не будет положительно определенной и, соответственно, не совсем очевидно, что все решения уравнения (1) будут решением МНК.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 12:55 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:01 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1162175 писал(а):
Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

Спасибо. Вы в этом оказывается специализировались. :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:11 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162174 писал(а):
не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:19 
Аватара пользователя


12/01/14
1127
ewert в сообщении #1162179 писал(а):
prof.uskov в сообщении #1162174 писал(а):
не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:22 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.
А здесь есть положительная полуопределенность.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:37 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:41 
Аватара пользователя


12/01/14
1127
ewert в сообщении #1162191 писал(а):
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

Это геометрический смысл МНК?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:47 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162195 писал(а):
Это геометрический смысл МНК?

Если хотите -- геометрический. Но вообще-то это просто полная теория стандартного МНК. Вся, целиком.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 14:07 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Это матрица Грама. У неё отрицательных собственных значений не может быть. Положительные или нулевые. Что гарантирует наличие минимума, но не обязательно в одной точке, может быть подпространство, все точки которого дают минимум. Простейший пример:
$y=x_1=x_2$. Решение даст любое из решений, в которых сумма коэффициентов при иксах будет единица.
Причём кроме "естественных" $y=1x_1+0x_2$, $y=0x_1+1x_2$, $y=0.5x_1+0.5x_2$ решениями могут быть, скажем $y=1000000x_1-999999x_2$, более того, если регрессоры равны с погрешностью порядка ошибки представления числа, коэффициенты, как правило, будут очень велики.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 14:24 
Заслуженный участник


11/05/08
32166
Евгений Машеров в сообщении #1162206 писал(а):
Простейший пример:
$y=x_1=x_2$

Какой-то странный пример. Судя по всему, Вы имеете в виду минимизацию многочленом $L(\vec x)=b_1x_1+b_2x_2$ на плоскости. Но где условия-то? и при чём тут единица?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 15:51 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Почти реальный пример (я вот сталкивался с задачей зависимости прибыли от четырёх параметров - валовая, готовая, товарная и реализованная продукция; это не в точности равные вещи, но различающиеся на малые величины - валовая от товарной на изменение незавершёнки нв цехах, товарная от реализованной на изменение задолженности потребителя по поставкам и т.п.)
Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны (по шалости выборки, или потому, что это в действительности одна величина, оцениваемая двумя способами), при этом игрек равен любому из них (в реальных задачах, разумеется, появляется какой-то неединичный коэффициент). И тогда любая их линейная комбинация с суммой коэффициентов, равной единице, даёт равноточный ответ.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 16:21 
Заслуженный участник


11/05/08
32166
Евгений Машеров в сообщении #1162235 писал(а):
Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны

Всё равно не понимаю. Что значит "равны"? в каждой точки выборки, что ли? -- ну тогда конечно, в этом случае на выборке функции $\varphi_1(\vec x)=x_1$ и $\varphi_2(\vec x)=x_2$ линейно зависимы.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 18:15 
Заслуженный участник
Аватара пользователя


11/03/08
9877
Москва
Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 18:54 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1162286 писал(а):
Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

Правильно я понимаю, что вот как раз в условиях нестрогой мультиколлинеарности, когда в стандартном МНК необходимо обращать плохообусловленную матрицу, преимущества имеет рекурсивный МНК.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group