2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 
 Метод наименьших квадратов
Сообщение26.10.2012, 00:29 
Когда мы находим коэффициенты аппроксимирующего полинома для таблично заданной функции по методу наименьших квадратов, мы записываем условие экстремума суммы квадратичных отклонений.

Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:32 
Аватара пользователя
Потому что это (по отношению к обоим коэффициентам) - парабола рогами вверх.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:35 
Аватара пользователя
Потому что эта сумма квадратов не имеет максимума. Если коэффициенты увеличивать, то сумма будет неограниченно расти.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:46 
ИСН
$S=$\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$
По моим представлениям это функция $n$ переменных. Чтобы ответить на вопрос о том, является точка экстремума точкой максимума или точкой минимума нужно исследовать квадратичную форму относительно приращений аргументов в окрестности критической точки. Но только в данном случае совсем не представляю как это делать. Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?

Someone
А не может оказаться так, что там не будет ни максимума, ни минимума? :)

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:54 
Аватара пользователя
mark_sandman в сообщении #635924 писал(а):
По моим представлениям это функция $n$ переменных.
$n+1$: $c_0,c_1,c_2,\ldots,c_n$.

mark_sandman в сообщении #635924 писал(а):
А не может оказаться так, что там не будет ни максимума, ни минимума?
По каждой из переменных это квадратный трёхчлен с положительным коэффициентом при квадрате переменной (если исключить вырожденные случаи). Снизу сумма квадратов ограничена нулём. Сверху - ничем.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 02:56 
mark_sandman в сообщении #635920 писал(а):
Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

Такова уж человеческая натура: ей свойственно почему-то стремиться к наилучшему результату (в данном случае приближению), а не к наихудшему.

mark_sandman в сообщении #635924 писал(а):
А не может оказаться так, что там не будет ни максимума, ни минимума? :)

Минимум там заведомо будет, причём именно минимум, т.е. он достигается. Другое дело, что он может достигаться не на единственном наборе коэффициентов; но это уж вопрос аккуратности в постановке задачи.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:08 
Аватара пользователя
Надо принять во внимание два соображения, одно более формальное, другое учитывает содержательный смысл задачи:
1. Это квадратическая функция. У которой ровно один экстремум, потому, что производная от неё - линейная функция (строго говоря, надо ещё рассмотреть случай мультиколлинеарности, когда экстремум достигается не в точке, а во всех точках подпространства, но при решении задач МНК от такой ситуации стараются избавиться)
2. Это сумма квадратов, величин заведомо неотрицательных, следовательно, величина неотрицательная. А если бы экстремум оказался бы максимумом, или хотя бы седловой точкой, то, учитывая, что это квадратичная функция, мы могли бы найти такие значения параметров, что сумма квадратов оказалась бы отрицательна. Из полученного противоречия следует, что это может быть лишь минимум.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:09 
Аватара пользователя
mark_sandman в сообщении #635924 писал(а):
По моим представлениям это функция $n$ переменных.
Ну, я одномерный случай имел в виду. Но тезис насчёт параболы верен и в многомерном.
mark_sandman в сообщении #635924 писал(а):
Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?
Не напоминать, а быть ей. Каждое слагаемое - это квадратичная парабола рогами вверх. Сумма квадратичных парабол рогами вверх - это...

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:19 
Евгений Машеров в сообщении #635952 писал(а):
случай мультиколлинеарности
Откуда такая терминологическая роскошь? Так действительно говорят?

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 09:05 
Аватара пользователя
Да. Принятое в регрессионном анализе наименование линейной зависимости между регрессорами (а также "нестрогой мультиколлинеарности", когда линейная зависимость приближённая, что с практической точки зрения, пожалуй, и похуже, "строгая мультиколлинеарность" лечится отбрасыванием части регрессоров, да и выявляется быстрее).
С ходу назову Демиденко, "Линейная и нелинейная регрессии", но вообще термин распространённый.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 10:23 
Аватара пользователя
mark_sandman в сообщении #635924 писал(а):
$S=\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$

Считаем $k > n$
Разлагайте в ряд Тейлора в окрестности $c^*$ (это вектор коэффициентов)
$S(c)=S(c^*)+ \frac{\partial S}{\partial c} \cdot (c-c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Если в качестве $c^*$ взять такие, что $\frac{\partial S}{\partial c} =0,$ то
$S(c)=S(c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена. Т.е. минимум $S(c)$ достигается при $c=c^*$

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 12:22 
TOTAL в сообщении #635981 писал(а):
Разлагайте в ряд Тейлора в окрестности

Жуть. Раскладывать в ряд квадратичную функцию.

TOTAL в сообщении #635981 писал(а):
Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена.

Откуда отсюда-то?... "Отсюда" не видно даже, что это матрица именно Грама, не говоря уж о её невырожденности. С другой стороны, даже совпадение некоторых из иксов само по себе ещё не препятствует корректности задачи.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 15:49 
Аватара пользователя
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 16:08 
Евгений Машеров, спасибо.

-- Пт окт 26, 2012 20:16:05 --

Евгений Машеров в сообщении #636104 писал(а):
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$
Вот этого не понял. Если $k>n$ и все $x_i$ попарно различны, то имеем матрицу Грама линейно независимых векторов, которая положительно определена.

 
 
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 16:20 
Аватара пользователя
Евгений Машеров в сообщении #636104 писал(а):
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

Это матрица, элементы которой являются скалярными произведениями $g_{ij}=(\vec e_i \cdot \vec e_j)$ линейно независимых (при различных $x_k$) векторов $\vec e_i =(x_1^i, x_2^i, \cdots x_k^i).$ Такая матрица не может не быть положительно определенной.

 
 
 [ Сообщений: 21 ]  На страницу 1, 2  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group