2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 12:48 
Аватара пользователя


12/01/14
1127
По-сути все сводится к решению системы нормальных линейных уравнений
$\mathbf (\mathbf F^T \mathbf F)\mathbf b= \mathbf F^T \mathbf y$ (1),
имеющей бесконечно много решений и хорошо изучено в линейной алгебре.
Но матрица $\mathbf F^T \mathbf F$ - вырожденная и не будет положительно определенной и, соответственно, не совсем очевидно, что все решения уравнения (1) будут решением МНК.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 12:55 
Заслуженный участник
Аватара пользователя


11/03/08
9983
Москва
Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:01 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1162175 писал(а):
Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

Спасибо. Вы в этом оказывается специализировались. :)

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:11 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162174 писал(а):
не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:19 
Аватара пользователя


12/01/14
1127
ewert в сообщении #1162179 писал(а):
prof.uskov в сообщении #1162174 писал(а):
не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:22 
Заслуженный участник
Аватара пользователя


06/10/08
6422
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.
А здесь есть положительная полуопределенность.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:37 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:41 
Аватара пользователя


12/01/14
1127
ewert в сообщении #1162191 писал(а):
prof.uskov в сообщении #1162183 писал(а):
Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

Это геометрический смысл МНК?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 13:47 
Заслуженный участник


11/05/08
32166
prof.uskov в сообщении #1162195 писал(а):
Это геометрический смысл МНК?

Если хотите -- геометрический. Но вообще-то это просто полная теория стандартного МНК. Вся, целиком.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 14:07 
Заслуженный участник
Аватара пользователя


11/03/08
9983
Москва
Это матрица Грама. У неё отрицательных собственных значений не может быть. Положительные или нулевые. Что гарантирует наличие минимума, но не обязательно в одной точке, может быть подпространство, все точки которого дают минимум. Простейший пример:
$y=x_1=x_2$. Решение даст любое из решений, в которых сумма коэффициентов при иксах будет единица.
Причём кроме "естественных" $y=1x_1+0x_2$, $y=0x_1+1x_2$, $y=0.5x_1+0.5x_2$ решениями могут быть, скажем $y=1000000x_1-999999x_2$, более того, если регрессоры равны с погрешностью порядка ошибки представления числа, коэффициенты, как правило, будут очень велики.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 14:24 
Заслуженный участник


11/05/08
32166
Евгений Машеров в сообщении #1162206 писал(а):
Простейший пример:
$y=x_1=x_2$

Какой-то странный пример. Судя по всему, Вы имеете в виду минимизацию многочленом $L(\vec x)=b_1x_1+b_2x_2$ на плоскости. Но где условия-то? и при чём тут единица?

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 15:51 
Заслуженный участник
Аватара пользователя


11/03/08
9983
Москва
Почти реальный пример (я вот сталкивался с задачей зависимости прибыли от четырёх параметров - валовая, готовая, товарная и реализованная продукция; это не в точности равные вещи, но различающиеся на малые величины - валовая от товарной на изменение незавершёнки нв цехах, товарная от реализованной на изменение задолженности потребителя по поставкам и т.п.)
Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны (по шалости выборки, или потому, что это в действительности одна величина, оцениваемая двумя способами), при этом игрек равен любому из них (в реальных задачах, разумеется, появляется какой-то неединичный коэффициент). И тогда любая их линейная комбинация с суммой коэффициентов, равной единице, даёт равноточный ответ.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 16:21 
Заслуженный участник


11/05/08
32166
Евгений Машеров в сообщении #1162235 писал(а):
Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны

Всё равно не понимаю. Что значит "равны"? в каждой точки выборки, что ли? -- ну тогда конечно, в этом случае на выборке функции $\varphi_1(\vec x)=x_1$ и $\varphi_2(\vec x)=x_2$ линейно зависимы.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 18:15 
Заслуженный участник
Аватара пользователя


11/03/08
9983
Москва
Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

 Профиль  
                  
 
 Re: Люди, порой, не видят очевидные вещи [нелин. аппроксимация]
Сообщение23.10.2016, 18:54 
Аватара пользователя


12/01/14
1127
Евгений Машеров в сообщении #1162286 писал(а):
Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

Правильно я понимаю, что вот как раз в условиях нестрогой мультиколлинеарности, когда в стандартном МНК необходимо обращать плохообусловленную матрицу, преимущества имеет рекурсивный МНК.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 126 ]  На страницу Пред.  1 ... 4, 5, 6, 7, 8, 9  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: HungryLion


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group