МНК

[rlsp]

Подскажите где доступно для не математика почитать про метод наименьших квадратов? Всё что нахожу является описанием для математиков, где, к примеру, приводится формула с матричным умножением на транспорированную матрицу так, как будто это очевидно. Или вводятся производные без всякого объяснения зачем. Или в одном описании встал в ступор, встретив по тексту "пространство столбцов матрицы". Складывается впечатление, что авторы специально пытаются ввернуть словцо покраше. При одно описание метода не похоже на другое. Есть где-нибудь краткое и понятное описание МНК? Понятное описание - не значит что для совсем незнаек, но когда используется формула или преобразование, то приводится полное объяснение что и зачем. Спасибо.

[ИСН]

Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

[rlsp]

ИСН в сообщении #995465 писал(а):

Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

ну знаю что производная в точке экстремума должна быть равна нулю или не существовать, к примеру.

[Aer]

А если минимум функции нескольких переменных?

[rlsp]

Aer в сообщении #995480 писал(а):

А если минимум функции нескольких переменных?

производные по каждой переменной?

[svv]

Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что там за квадраты?

[iifat]

Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

[rlsp]

svv в сообщении #995489 писал(а):

Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что за квадраты?

Ну да, минимум суммы квадратов разностей эксперементальных значений и значений функции в соотв. точках, типо такого - $\sum\limits_{}^{}(y-f(x))^2$

[Ms-dos4]

rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

[rlsp]

iifat в сообщении #995490 писал(а):

Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

Читаю -

Цитата:

Суть метода наименьших квадратов (МНК).
Задача заключается в нахождении коэффициентов линейной зависимости

Всё, если зависимость не линейная, дальше можно не читать?

[Ms-dos4]

rlsp
Может быть и нелинейная. Ради интереса можете сами получить формулы например для многочленов более высокой степени (только счёт вручную утомителен).

[rlsp]

Ms-dos4 в сообщении #995498 писал(а):

rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

Проблема в том, что мне вот надо аппроксимировать функцией f(x) 3й степени с 4мя определяющими параметрами и, чтобы понять, как это делать правильно, я пытаюсь найти описание где объясняется принцип, а там, к примеру, используется матричная алгебра и приводится формула без нормального объяснения. И так везде, где-то это не понятно, где-то другое.

[svv]

rlsp в сообщении #995493 писал(а):

типо такого - $\sum\limits_{}^{}(y-f(x))^2$

«Типо» пишут лишь в шутку, как «превед», а так правильно — типа, а ещё лучше — вроде, наподобие.
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

[iifat]

Какая зависимость? Зависимость отклонения от коэффициентов как раз таки нелинейная — она квадратичная!

[rlsp]

svv в сообщении #995504 писал(а):

rlsp в сообщении #995493 писал(а):

типо такого - $\sum\limits_{}^{}(y-f(x))^2$

«Типо» пишут лишь в шутку, как «превед», а так правильно — «типа».
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

$f(x)$ - это аппроксимирующая функция, к примеру линейная kx+b или, как в моём случае такая - \mathbf{B}(t) = (1-t)^3\mathbf{P}_0 + 3t(1-t)^2\mathbf{P}_1 + 3t^2(1-t)\mathbf{P}_2 + t^3\mathbf{P}_3, \quad t \in [0,1]

-- 25.03.2015, 18:49 --

Чтобы было понятно в чём моя проблема, читаем википедию -

Цитата:

Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть (Ax-b)^T(Ax-b)\rightarrow \min. Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений

A^TAx=A^Tb \Rightarrow x=(A^TA)^{-1}A^Tb.

Вот математикам наверное и понятно первое "то есть" и "нетрудно показать", а для меня это совсем не очевидно.