2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Метод наименьших квадратов
Сообщение26.10.2012, 00:29 


06/05/12
77
Когда мы находим коэффициенты аппроксимирующего полинома для таблично заданной функции по методу наименьших квадратов, мы записываем условие экстремума суммы квадратичных отклонений.

Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:32 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
Потому что это (по отношению к обоим коэффициентам) - парабола рогами вверх.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:35 
Заслуженный участник
Аватара пользователя


23/07/05
17973
Москва
Потому что эта сумма квадратов не имеет максимума. Если коэффициенты увеличивать, то сумма будет неограниченно расти.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:46 


06/05/12
77
ИСН
$S=$\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$
По моим представлениям это функция $n$ переменных. Чтобы ответить на вопрос о том, является точка экстремума точкой максимума или точкой минимума нужно исследовать квадратичную форму относительно приращений аргументов в окрестности критической точки. Но только в данном случае совсем не представляю как это делать. Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?

Someone
А не может оказаться так, что там не будет ни максимума, ни минимума? :)

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 00:54 
Заслуженный участник
Аватара пользователя


23/07/05
17973
Москва
mark_sandman в сообщении #635924 писал(а):
По моим представлениям это функция $n$ переменных.
$n+1$: $c_0,c_1,c_2,\ldots,c_n$.

mark_sandman в сообщении #635924 писал(а):
А не может оказаться так, что там не будет ни максимума, ни минимума?
По каждой из переменных это квадратный трёхчлен с положительным коэффициентом при квадрате переменной (если исключить вырожденные случаи). Снизу сумма квадратов ограничена нулём. Сверху - ничем.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 02:56 
Заслуженный участник


11/05/08
32166
mark_sandman в сообщении #635920 писал(а):
Почему это условие является условием именно минимума суммы квадратов отклонений, а не максимума?

Такова уж человеческая натура: ей свойственно почему-то стремиться к наилучшему результату (в данном случае приближению), а не к наихудшему.

mark_sandman в сообщении #635924 писал(а):
А не может оказаться так, что там не будет ни максимума, ни минимума? :)

Минимум там заведомо будет, причём именно минимум, т.е. он достигается. Другое дело, что он может достигаться не на единственном наборе коэффициентов; но это уж вопрос аккуратности в постановке задачи.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:08 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Надо принять во внимание два соображения, одно более формальное, другое учитывает содержательный смысл задачи:
1. Это квадратическая функция. У которой ровно один экстремум, потому, что производная от неё - линейная функция (строго говоря, надо ещё рассмотреть случай мультиколлинеарности, когда экстремум достигается не в точке, а во всех точках подпространства, но при решении задач МНК от такой ситуации стараются избавиться)
2. Это сумма квадратов, величин заведомо неотрицательных, следовательно, величина неотрицательная. А если бы экстремум оказался бы максимумом, или хотя бы седловой точкой, то, учитывая, что это квадратичная функция, мы могли бы найти такие значения параметров, что сумма квадратов оказалась бы отрицательна. Из полученного противоречия следует, что это может быть лишь минимум.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:09 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
mark_sandman в сообщении #635924 писал(а):
По моим представлениям это функция $n$ переменных.
Ну, я одномерный случай имел в виду. Но тезис насчёт параболы верен и в многомерном.
mark_sandman в сообщении #635924 писал(а):
Понятно, что эта функция будет напоминать параболу рогами вверх, только как это доказать?
Не напоминать, а быть ей. Каждое слагаемое - это квадратичная парабола рогами вверх. Сумма квадратичных парабол рогами вверх - это...

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 08:19 
Заслуженный участник


20/12/10
8858
Евгений Машеров в сообщении #635952 писал(а):
случай мультиколлинеарности
Откуда такая терминологическая роскошь? Так действительно говорят?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 09:05 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Да. Принятое в регрессионном анализе наименование линейной зависимости между регрессорами (а также "нестрогой мультиколлинеарности", когда линейная зависимость приближённая, что с практической точки зрения, пожалуй, и похуже, "строгая мультиколлинеарность" лечится отбрасыванием части регрессоров, да и выявляется быстрее).
С ходу назову Демиденко, "Линейная и нелинейная регрессии", но вообще термин распространённый.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 10:23 
Заслуженный участник
Аватара пользователя


23/08/07
5420
Нов-ск
mark_sandman в сообщении #635924 писал(а):
$S=\sum\limits_{i=1}^k (c_0+c_1x_i+...+c_nx_i^n-y_i)^2$

Считаем $k > n$
Разлагайте в ряд Тейлора в окрестности $c^*$ (это вектор коэффициентов)
$S(c)=S(c^*)+ \frac{\partial S}{\partial c} \cdot (c-c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Если в качестве $c^*$ взять такие, что $\frac{\partial S}{\partial c} =0,$ то
$S(c)=S(c^*)+ \frac{1}{2} (c-c^*) \cdot \frac{\partial^2 S}{\partial c \partial c} \cdot (c-c^*)$

Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена. Т.е. минимум $S(c)$ достигается при $c=c^*$

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 12:22 
Заслуженный участник


11/05/08
32166
TOTAL в сообщении #635981 писал(а):
Разлагайте в ряд Тейлора в окрестности

Жуть. Раскладывать в ряд квадратичную функцию.

TOTAL в сообщении #635981 писал(а):
Отсюда видно, что если $x_i$ различны, то матрица Грама $\frac{\partial^2 S}{\partial c \partial c}$ невырождена и положительно определена.

Откуда отсюда-то?... "Отсюда" не видно даже, что это матрица именно Грама, не говоря уж о её невырожденности. С другой стороны, даже совпадение некоторых из иксов само по себе ещё не препятствует корректности задачи.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 15:49 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 16:08 
Заслуженный участник


20/12/10
8858
Евгений Машеров, спасибо.

-- Пт окт 26, 2012 20:16:05 --

Евгений Машеров в сообщении #636104 писал(а):
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$
Вот этого не понял. Если $k>n$ и все $x_i$ попарно различны, то имеем матрицу Грама линейно независимых векторов, которая положительно определена.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение26.10.2012, 16:20 
Заслуженный участник
Аватара пользователя


23/08/07
5420
Нов-ск
Евгений Машеров в сообщении #636104 писал(а):
Ну, то, что там будет матрица Грама, показать легко. С другой стороны, она может быть не определена положительно даже при несовпадающих $x_i$.
Достаточно взять, скажем, $x_3=x_1+x_2$

Это матрица, элементы которой являются скалярными произведениями $g_{ij}=(\vec e_i \cdot \vec e_j)$ линейно независимых (при различных $x_k$) векторов $\vec e_i =(x_1^i, x_2^i, \cdots x_k^i).$ Такая матрица не может не быть положительно определенной.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 21 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group