2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2, 3, 4  След.
 
 МНК
Сообщение25.03.2015, 15:56 
Подскажите где доступно для не математика почитать про метод наименьших квадратов? Всё что нахожу является описанием для математиков, где, к примеру, приводится формула с матричным умножением на транспорированную матрицу так, как будто это очевидно. Или вводятся производные без всякого объяснения зачем. Или в одном описании встал в ступор, встретив по тексту "пространство столбцов матрицы". Складывается впечатление, что авторы специально пытаются ввернуть словцо покраше. При одно описание метода не похоже на другое. Есть где-нибудь краткое и понятное описание МНК? Понятное описание - не значит что для совсем незнаек, но когда используется формула или преобразование, то приводится полное объяснение что и зачем. Спасибо.

 
 
 
 Re: МНК
Сообщение25.03.2015, 16:31 
Аватара пользователя
Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:06 
ИСН в сообщении #995465 писал(а):
Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

ну знаю что производная в точке экстремума должна быть равна нулю или не существовать, к примеру.

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:09 
А если минимум функции нескольких переменных?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:12 
Aer в сообщении #995480 писал(а):
А если минимум функции нескольких переменных?


производные по каждой переменной?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:20 
Аватара пользователя
Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что там за квадраты?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:23 
Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:26 
svv в сообщении #995489 писал(а):
Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что за квадраты?


Ну да, минимум суммы квадратов разностей эксперементальных значений и значений функции в соотв. точках, типо такого - $\sum\limits_{}^{}(y-f(x))^2$

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:29 
rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:30 
iifat в сообщении #995490 писал(а):
Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

Читаю -
Цитата:
Суть метода наименьших квадратов (МНК).
Задача заключается в нахождении коэффициентов линейной зависимости

Всё, если зависимость не линейная, дальше можно не читать?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:32 
rlsp
Может быть и нелинейная. Ради интереса можете сами получить формулы например для многочленов более высокой степени (только счёт вручную утомителен).

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:36 
Ms-dos4 в сообщении #995498 писал(а):
rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

Проблема в том, что мне вот надо аппроксимировать функцией f(x) 3й степени с 4мя определяющими параметрами и, чтобы понять, как это делать правильно, я пытаюсь найти описание где объясняется принцип, а там, к примеру, используется матричная алгебра и приводится формула без нормального объяснения. И так везде, где-то это не понятно, где-то другое.

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:37 
Аватара пользователя
rlsp в сообщении #995493 писал(а):
типо такого - $\sum\limits_{}^{}(y-f(x))^2$
«Типо» пишут лишь в шутку, как «превед», а так правильно — типа, а ещё лучше — вроде, наподобие.
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:39 
Какая зависимость? Зависимость отклонения от коэффициентов как раз таки нелинейная — она квадратичная!

 
 
 
 Re: МНК
Сообщение25.03.2015, 17:40 
svv в сообщении #995504 писал(а):
rlsp в сообщении #995493 писал(а):
типо такого - $\sum\limits_{}^{}(y-f(x))^2$
«Типо» пишут лишь в шутку, как «превед», а так правильно — «типа».
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

$f(x)$ - это аппроксимирующая функция, к примеру линейная kx+b или, как в моём случае такая - \mathbf{B}(t) = (1-t)^3\mathbf{P}_0 + 3t(1-t)^2\mathbf{P}_1 + 3t^2(1-t)\mathbf{P}_2 + t^3\mathbf{P}_3, \quad t \in [0,1]

-- 25.03.2015, 18:49 --

Чтобы было понятно в чём моя проблема, читаем википедию -
Цитата:
Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть (Ax-b)^T(Ax-b)\rightarrow \min. Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений

A^TAx=A^Tb \Rightarrow x=(A^TA)^{-1}A^Tb.

Вот математикам наверное и понятно первое "то есть" и "нетрудно показать", а для меня это совсем не очевидно.

 
 
 [ Сообщений: 56 ]  На страницу 1, 2, 3, 4  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group