2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2, 3, 4  След.
 
 МНК
Сообщение25.03.2015, 15:56 


20/01/15
27
Подскажите где доступно для не математика почитать про метод наименьших квадратов? Всё что нахожу является описанием для математиков, где, к примеру, приводится формула с матричным умножением на транспорированную матрицу так, как будто это очевидно. Или вводятся производные без всякого объяснения зачем. Или в одном описании встал в ступор, встретив по тексту "пространство столбцов матрицы". Складывается впечатление, что авторы специально пытаются ввернуть словцо покраше. При одно описание метода не похоже на другое. Есть где-нибудь краткое и понятное описание МНК? Понятное описание - не значит что для совсем незнаек, но когда используется формула или преобразование, то приводится полное объяснение что и зачем. Спасибо.

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 16:31 
Заслуженный участник
Аватара пользователя


18/05/06
13288
с Территории
Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:06 


20/01/15
27
ИСН в сообщении #995465 писал(а):
Вы про поиск минимума функции (вообще любой функции) знаете что-нибудь, например?

ну знаю что производная в точке экстремума должна быть равна нулю или не существовать, к примеру.

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:09 
Экс-модератор


26/06/13
161
А если минимум функции нескольких переменных?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:12 


20/01/15
27
Aer в сообщении #995480 писал(а):
А если минимум функции нескольких переменных?


производные по каждой переменной?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:20 
Заслуженный участник


23/07/08
7871
Харьков
Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что там за квадраты?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:23 
Заслуженный участник


16/02/13
3521
Владивосток
Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:26 


20/01/15
27
svv в сообщении #995489 писал(а):
Да.
Следующий вопрос: Вы знаете, минимум какой функции ищется в методе наименьших квадратов? Для начала хотя бы словами скажите, минимум чего? что за квадраты?


Ну да, минимум суммы квадратов разностей эксперементальных значений и значений функции в соотв. точках, типо такого - $\sum\limits_{}^{}(y-f(x))^2$

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:29 
Заслуженный участник


25/02/08
2955
rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:30 


20/01/15
27
iifat в сообщении #995490 писал(а):
Кто они такие — математики? Какие они из себя? Наверное, такие мерзкие сгорбленные карлики. Они живут в пещерах, варят на огне ядра Земли свои мерзкие матрицы и, мерзко хихикая и потирая потные ручонки, смущают сон добропорядочных граждан бесстыдно торчащими векторами...
Вот, вторая ссылка в гугле по «метод наименьших квадратов». Проще его изложить невозможно. Увы.

Читаю -
Цитата:
Суть метода наименьших квадратов (МНК).
Задача заключается в нахождении коэффициентов линейной зависимости

Всё, если зависимость не линейная, дальше можно не читать?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:32 
Заслуженный участник


25/02/08
2955
rlsp
Может быть и нелинейная. Ради интереса можете сами получить формулы например для многочленов более высокой степени (только счёт вручную утомителен).

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:36 


20/01/15
27
Ms-dos4 в сообщении #995498 писал(а):
rlsp
Ну так и в чём проблема? Параметры функции $\[f(x)\]$ - переменные, по которым ищем минимум. Приравниваем производные по ним к нулю и решаем систему относительно этих параметров.

Проблема в том, что мне вот надо аппроксимировать функцией f(x) 3й степени с 4мя определяющими параметрами и, чтобы понять, как это делать правильно, я пытаюсь найти описание где объясняется принцип, а там, к примеру, используется матричная алгебра и приводится формула без нормального объяснения. И так везде, где-то это не понятно, где-то другое.

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:37 
Заслуженный участник


23/07/08
7871
Харьков
rlsp в сообщении #995493 писал(а):
типо такого - $\sum\limits_{}^{}(y-f(x))^2$
«Типо» пишут лишь в шутку, как «превед», а так правильно — типа, а ещё лучше — вроде, наподобие.
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:39 
Заслуженный участник


16/02/13
3521
Владивосток
Какая зависимость? Зависимость отклонения от коэффициентов как раз таки нелинейная — она квадратичная!

 Профиль  
                  
 
 Re: МНК
Сообщение25.03.2015, 17:40 


20/01/15
27
svv в сообщении #995504 писал(а):
rlsp в сообщении #995493 писал(а):
типо такого - $\sum\limits_{}^{}(y-f(x))^2$
«Типо» пишут лишь в шутку, как «превед», а так правильно — «типа».
Пусть точек $n$. Пусть индекс $i$ обозначает номер точки. Тогда функцию аккуратнее можно записать так:
$\sum\limits_{i=1}^{n}(y_i-f(x_i))^2$
Следующий вопрос: что такое $f(x)$, откуда она берется?

$f(x)$ - это аппроксимирующая функция, к примеру линейная kx+b или, как в моём случае такая - \mathbf{B}(t) = (1-t)^3\mathbf{P}_0 + 3t(1-t)^2\mathbf{P}_1 + 3t^2(1-t)\mathbf{P}_2 + t^3\mathbf{P}_3, \quad t \in [0,1]

-- 25.03.2015, 18:49 --

Чтобы было понятно в чём моя проблема, читаем википедию -
Цитата:
Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть (Ax-b)^T(Ax-b)\rightarrow \min. Нетрудно показать, что решение этой задачи минимизации приводит к решению следующей системы уравнений

A^TAx=A^Tb \Rightarrow x=(A^TA)^{-1}A^Tb.

Вот математикам наверное и понятно первое "то есть" и "нетрудно показать", а для меня это совсем не очевидно.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 56 ]  На страницу 1, 2, 3, 4  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group