2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Нелинейный регрессионный анализ - МНК
Сообщение22.05.2008, 18:14 


22/05/08
5
Доброго времени суток.
У меня такой вопрос, может немного странный.
Можно ли использовать МНК (Метод Наименьших Квадратов) при нахождении нелинейной регрессии. Если да, то как? Если нет, то почему?

Насколько я знаю МНК используется только для линейной регрессии дабы снизить к минимуму среднеквадратическое отклонение. А почему его нельзя применить для нелинейной?

 Профиль  
                  
 
 
Сообщение22.05.2008, 18:36 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
МНК можно применять в разных случаях. В общем виде Вы имеете набор точек $(x_1,y_1),\ldots,(x_n,y_n)$ и хотите аппроксимировать зависимость игреков от иксов некоторой функцией $f$, зависящей от неизвестных параметров $a_1,\ldots,a_k$. Решение задачи методом МНК - это минимизация по данным параметрам выражения
$$
\sum\limits_{i=1}^n (y_i-f(x_i;a_1,\ldots,a_k))^2
$$
Функция $f$ при этом может быть любой, в том числе и нелинейной.

 Профиль  
                  
 
 
Сообщение22.05.2008, 18:46 


29/09/06
4552
МНК используется и для нелийненых задач. Вы ищете минимум $\displaystyle \sum_i^n [y_i-f(x_i;a)]^2$, где $a$ --- ветор искомых параметров. Например, $f(x;a)=a_0+a_1x$.
Взявши $f(x;a)=a_0+a_1x+a_2x^2+\ldots$, Вы всё равно прийдёте к линейной системе уравнений для поиска $a_i$. Мы здесь по-прежнему в рамках линейной регресси, ибо $f$ линейно по $a$ (хотя график $f(x)$ уже не прямая).

Если $f(x;a)$ нелинейно по $a_i$, то есть всякие методы. Например, линеаризация функции с последующими итерациями.
Пример нелинейной задачки --- построить прямую, ближайшую к заданному набору точек (не в смысле графика функции, а в смысле геометрического расстояния от точки до искомой прямой
$y\sin\alpha-x\cos\alpha+L=0$. Поковыряйте, посмотрите какая она интересная.

 Профиль  
                  
 
 
Сообщение23.05.2008, 10:40 


22/05/08
5
PAV, Алексей К.:
Понятно. Спасибо за информацию.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group