Метод наименьших квадратов

[mark_sandman]

Когда мы находим коэффициенты аппроксимирующего полинома для таблично заданной функции по методу наименьших квадратов, мы записываем условие экстремума суммы квадратичных отклонений.

Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

[ИСН]

Потому что это (по отношению к обоим коэффициентам) - парабола рогами вверх.

[Someone]

Потому что эта сумма квадратов не имеет максимума. Если коэффициенты увеличивать, то сумма будет неограниченно расти.

[mark_sandman]

ИСН
$S=$\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$
По моим представлениям это функция $n$ переменных. Чтобы ответить на вопрос о том, является точка экстремума точкой максимума или точкой минимума нужно исследовать квадратичную форму относительно приращений аргументов в окрестности критической точки. Но только в данном случае совсем не представляю как это делать. Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?

Someone
А не может оказаться так, что там не будет ни максимума, ни минимума? :)

[Someone]

mark_sandman в сообщении #635924 писал(а):

По моим представлениям это функция $n$ переменных.

$n+1$: $c_0,c_1,c_2,\ldots,c_n$.

mark_sandman в сообщении #635924 писал(а):

А не может оказаться так, что там не будет ни максимума, ни минимума?

По каждой из переменных это квадратный трёхчлен с положительным коэффициентом при квадрате переменной (если исключить вырожденные случаи). Снизу сумма квадратов ограничена нулём. Сверху - ничем.

[ewert]

mark_sandman в сообщении #635920 писал(а):

Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

Такова уж человеческая натура: ей свойственно почему-то стремиться к наилучшему результату (в данном случае приближению), а не к наихудшему.

mark_sandman в сообщении #635924 писал(а):

А не может оказаться так, что там не будет ни максимума, ни минимума? :)

Минимум там заведомо будет, причём именно минимум, т.е. он достигается. Другое дело, что он может достигаться не на единственном наборе коэффициентов; но это уж вопрос аккуратности в постановке задачи.

[Евгений Машеров]

Надо принять во внимание два соображения, одно более формальное, другое учитывает содержательный смысл задачи:
1. Это квадратическая функция. У которой ровно один экстремум, потому, что производная от неё - линейная функция (строго говоря, надо ещё рассмотреть случай мультиколлинеарности, когда экстремум достигается не в точке, а во всех точках подпространства, но при решении задач МНК от такой ситуации стараются избавиться)
2. Это сумма квадратов, величин заведомо неотрицательных, следовательно, величина неотрицательная. А если бы экстремум оказался бы максимумом, или хотя бы седловой точкой, то, учитывая, что это квадратичная функция, мы могли бы найти такие значения параметров, что сумма квадратов оказалась бы отрицательна. Из полученного противоречия следует, что это может быть лишь минимум.

[ИСН]

mark_sandman в сообщении #635924 писал(а):

По моим представлениям это функция $n$ переменных.

Ну, я одномерный случай имел в виду. Но тезис насчёт параболы верен и в многомерном.

mark_sandman в сообщении #635924 писал(а):

Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?

Не напоминать, а быть ей. Каждое слагаемое - это квадратичная парабола рогами вверх. Сумма квадратичных парабол рогами вверх - это...

[nnosipov]

Евгений Машеров в сообщении #635952 писал(а):

случай мультиколлинеарности

Откуда такая терминологическая роскошь? Так действительно говорят?

[Евгений Машеров]

Да. Принятое в регрессионном анализе наименование линейной зависимости между регрессорами (а также "нестрогой мультиколлинеарности", когда линейная зависимость приближённая, что с практической точки зрения, пожалуй, и похуже, "строгая мультиколлинеарность" лечится отбрасыванием части регрессоров, да и выявляется быстрее).
С ходу назову Демиденко, "Линейная и нелинейная регрессии", но вообще термин распространённый.

[TOTAL]

mark_sandman в сообщении #635924 писал(а):

$S=\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$

Считаем $k > n$
Разлагайте в ряд Тейлора в окрестности $c^*$ (это вектор коэффициентов)
$S(c)=S(c^*)+ \frac{\partial S}{\partial c} \cdot (c-c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Если в качестве $c^*$ взять такие, что $\frac{\partial S}{\partial c} =0,$ то
$S(c)=S(c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена. Т.е. минимум $S(c)$ достигается при $c=c^*$

[ewert]

TOTAL в сообщении #635981 писал(а):

Разлагайте в ряд Тейлора в окрестности

Жуть. Раскладывать в ряд квадратичную функцию.

TOTAL в сообщении #635981 писал(а):

Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена.

Откуда отсюда-то?... "Отсюда" не видно даже, что это матрица именно Грама, не говоря уж о её невырожденности. С другой стороны, даже совпадение некоторых из иксов само по себе ещё не препятствует корректности задачи.

[Евгений Машеров]

Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

[nnosipov]

Евгений Машеров, спасибо.

-- Пт окт 26, 2012 20:16:05 --

Евгений Машеров в сообщении #636104 писал(а):

Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

Вот этого не понял. Если $k>n$ и все $x_i$ попарно различны, то имеем матрицу Грама линейно независимых векторов, которая положительно определена.

[TOTAL]

Евгений Машеров в сообщении #636104 писал(а):

Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

Это матрица, элементы которой являются скалярными произведениями $g_{ij}=(\vec e_i \cdot \vec e_j)$ линейно независимых (при различных $x_k$) векторов $\vec e_i =(x_1^i, x_2^i, \cdots x_k^i).$ Такая матрица не может не быть положительно определенной.