Люди, порой, не видят очевидные вещи [нелин. аппроксимация]

[prof.uskov]

По-сути все сводится к решению системы нормальных линейных уравнений
$\mathbf (\mathbf F^T \mathbf F)\mathbf b= \mathbf F^T \mathbf y$ (1),
имеющей бесконечно много решений и хорошо изучено в линейной алгебре.
Но матрица $\mathbf F^T \mathbf F$ - вырожденная и не будет положительно определенной и, соответственно, не совсем очевидно, что все решения уравнения (1) будут решением МНК.

[Евгений Машеров]

Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

[prof.uskov]

Евгений Машеров в сообщении #1162175 писал(а):

Может, что-то полезное в моей диссертации найдётся?
http://www.twirpx.com/file/750248/
http://www.twirpx.com/file/750244/
Я как раз сингулярное разложение использовал.

Спасибо. Вы в этом оказывается специализировались. :)

[ewert]

prof.uskov в сообщении #1162174 писал(а):

не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

[prof.uskov]

ewert в сообщении #1162179 писал(а):

prof.uskov в сообщении #1162174 писал(а):

не совсем очевидно, что все решения уравнения (1) будут решением МНК.

Все. Минимизация нормы невязки равносильно этому уравнению. Сколько там будет решений -- вопрос уже следующий.

Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.

[Xaositect]

prof.uskov в сообщении #1162183 писал(а):

Так нет минимизации, найдено лишь множество решений, где градиент евклидовой нормы невязки равен нулю - критические точки. Но это не значит, что минимум. Для матрицы с полным рангом, там еще была положительная определенность квадратичной формы, а здесь этого нет.

А здесь есть положительная полуопределенность.

[ewert]

prof.uskov в сообщении #1162183 писал(а):

Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

[prof.uskov]

ewert в сообщении #1162191 писал(а):

prof.uskov в сообщении #1162183 писал(а):

Так нет минимизации,

Я правильно понимаю, что речь о стандартном МНК, т.е. о минимизации суммы квадратов отклонений $\sum\limits_{i=1}^n|y_i-L_m(x_i)|^2$, где $L_m(x)=\sum\limits_{k=1}^mb_k\varphi_k(x)$ -- некоторый обобщённый многочлен?

Если да, то эта задача в точности равносильна минимизации $\|F\vec b-\vec y\|$ (имеется в виду стандартная евклидова норма), где $f_{ik}=\varphi_k(x_i)$. Последнее, в свою очередь, в точности означает, что вектор $F\vec b$ -- это проекция вектора $\vec y$ на образ матрицы $F$, т.е. что

$(\forall\vec u)\ \vec y-F\vec b\perp F\vec u$ $\Leftrightarrow$ $(\forall\vec u)\ (\vec y-F\vec b,F\vec u)=0$ $\Leftrightarrow$ $(\forall\vec u)\ (F^*(\vec y-F\vec b),\vec u)=0$ $\Leftrightarrow$ $F^*(\vec y-F\vec b)=\vec0$ $\Leftrightarrow$ $F^*F\vec b=F^*\vec y$.

Все переходы воистину равносильны. И, между прочим, полученная система разрешима именно потому, что проекция всегда существует. Сама по себе она, конечно, единственна; но это вовсе не означает, что она обязана достигаться только на одном $\vec b$.

Это геометрический смысл МНК?

[ewert]

prof.uskov в сообщении #1162195 писал(а):

Это геометрический смысл МНК?

Если хотите -- геометрический. Но вообще-то это просто полная теория стандартного МНК. Вся, целиком.

[Евгений Машеров]

Это матрица Грама. У неё отрицательных собственных значений не может быть. Положительные или нулевые. Что гарантирует наличие минимума, но не обязательно в одной точке, может быть подпространство, все точки которого дают минимум. Простейший пример:
$y=x_1=x_2$. Решение даст любое из решений, в которых сумма коэффициентов при иксах будет единица.
Причём кроме "естественных" $y=1x_1+0x_2$, $y=0x_1+1x_2$, $y=0.5x_1+0.5x_2$ решениями могут быть, скажем $y=1000000x_1-999999x_2$, более того, если регрессоры равны с погрешностью порядка ошибки представления числа, коэффициенты, как правило, будут очень велики.

[ewert]

Евгений Машеров в сообщении #1162206 писал(а):

Простейший пример:
$y=x_1=x_2$

Какой-то странный пример. Судя по всему, Вы имеете в виду минимизацию многочленом $L(\vec x)=b_1x_1+b_2x_2$ на плоскости. Но где условия-то? и при чём тут единица?

[Евгений Машеров]

Почти реальный пример (я вот сталкивался с задачей зависимости прибыли от четырёх параметров - валовая, готовая, товарная и реализованная продукция; это не в точности равные вещи, но различающиеся на малые величины - валовая от товарной на изменение незавершёнки нв цехах, товарная от реализованной на изменение задолженности потребителя по поставкам и т.п.)
Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны (по шалости выборки, или потому, что это в действительности одна величина, оцениваемая двумя способами), при этом игрек равен любому из них (в реальных задачах, разумеется, появляется какой-то неединичный коэффициент). И тогда любая их линейная комбинация с суммой коэффициентов, равной единице, даёт равноточный ответ.

[ewert]

Евгений Машеров в сообщении #1162235 писал(а):

Предложили найти зависимость игрека от двух переменных, икс-1 и икс-2. В виде линейной зависимости. В действительности оба икса оказались равны

Всё равно не понимаю. Что значит "равны"? в каждой точки выборки, что ли? -- ну тогда конечно, в этом случае на выборке функции $\varphi_1(\vec x)=x_1$ и $\varphi_2(\vec x)=x_2$ линейно зависимы.

[Евгений Машеров]

Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

[prof.uskov]

Евгений Машеров в сообщении #1162286 писал(а):

Угу. "Строгая мультиколлинеарность". Которая на практике, конечно, редко проявляется в столь выпуклой форме, линейная зависимость несколько более замаскирована. Скажем, включены объём производства, себестоимость и прибыль.

Правильно я понимаю, что вот как раз в условиях нестрогой мультиколлинеарности, когда в стандартном МНК необходимо обращать плохообусловленную матрицу, преимущества имеет рекурсивный МНК.