2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Метод наименьших квадратов
Сообщение09.12.2015, 17:14 
Аватара пользователя


13/08/13

4323
Когда мы заменой переменных линеаризируем нашу функции, то применяя МНК, а затем обратное преобразование мы получим не то же самое, если бы применяли МНК в лоб?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 18:50 
Заслуженный участник
Аватара пользователя


18/05/06
13435
с Территории
Нет.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 19:12 
Аватара пользователя


13/08/13

4323
ИСН
Те тоже самое или не тоже самое?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 19:26 


29/03/15

275

(Не тоже самое)

Не тоже самое.
Была кривулька в виде набора точек, выпрямили, потом провели прямую, если вернуться назад, то прямая станет кривой. А если не выпрямлять первоначальный набор точек, то будет просто прямая.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 19:33 
Аватара пользователя


27/02/12
3706
Sicker в сообщении #1080950 писал(а):
не тоже самое?

Хотели сказать "не то же самое"...
Да, не то же самое.
Если взять, например, простейшее $y=\frac{a}{x}$, то получится минимальная сумма квадратов отклонений теоретических обратных величин от экспериментальных обратных величин. Иногда это не лучший вариант. Тогда можно минимизировать сумму квадратов относительных отклонений, или ещё как-то, но я глубоко этим не занимался.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 19:40 
Аватара пользователя


13/08/13

4323
DeepEconom
Вы меня неправильно поняли :-)
miflin
А ясно, я так и думал) Те при выпрямлении получаем бонус привычной задачи минимизации, и минус- что это уже не совсем честный МНК.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 20:44 
Аватара пользователя


26/05/12
1534
приходит весна?
Честный МНК — это тот, в котором учитываются погрешности "игреков". Если при линеаризации задачи так же пересчитываете и погрешности "игреков", а потом учитываете их в МНК, то это будет тоже честный МНК, и даст тот же самый результат (в пределах погрешности пересчитывания погрешности). Другими словами результат будет совпадать в пределах погрешности.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 21:43 
Аватара пользователя


13/08/13

4323
B@R5uk в сообщении #1080972 писал(а):
так же пересчитываете и погрешности "игреков"

А тогда мы не сможем применить метод моментов $M_{x,y,xy,y^2}$

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 22:04 
Аватара пользователя


26/05/12
1534
приходит весна?
Не знаю что это такое. Он правда так нужен?

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение09.12.2015, 22:53 


29/09/06
4552
Sicker,

полагаю, Вам будет небезынтересно узнать, что, применив "честный" МНК к линейной задаче $x_i\to y_i$ ($y=kx+b$), и затем поменяв местами аргумент и функцию $(y_i\to x_i)$, Вы тем самым перейдёте к "нечестному" МНК, и, соответственно, полученная прямая будет (в общем случае) совсем другой, вовсе не $x=\dfrac{y}{k}-\dfrac{b}{k}$, как это изначально вожделелось.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение10.12.2015, 10:39 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Не то же самое. Меняется спецификация ошибки. Иногда, впрочем, меняется к лучшему, в смысле для преобразованной применение МНК более обосновано.
Если оцениваемая модель $y=ax^b$, то с учётом ошибки, она будет $y=ax^b+\varepsilon$
Логарифмирование изменит распределение $\varepsilon$, если исходно оно было нормальным, то в полученной логарифмированием модели $v=\ln y= \ln a+b\ln x+\eta$ распределение $\eta$ нормальным уже не будет, и дисперсия его уже, вообще говоря, не будет одинаковой для всех наблюдений (а при больших отрицательных значениях $\varepsilon$ и вовсе появятся под логарифмом отрицательные величины).
Однако если спецификация ошибки имеет вид $y=ax^be^{\varepsilon}$, то есть влияние случайных факторов мультипликативно, и его можно полагать проявляющимся домножением на логнормальную случайную величину, взамен прибавления нормальной, что выглядит достаточно похожим на правду, если для разных наблюдений есть основания ждать одинаковых относительных отклонений, и равновероятны одинаковые относительные, то в этом случае после логарифмирования приходим к ситуации, в которой условия применения МНК выполнены в точности, тогда как для непреобразованной задачи они выполняются лишь приближённо.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение10.12.2015, 11:17 
Аватара пользователя


26/05/12
1534
приходит весна?
Евгений Машеров, глубоко копнули. Если на то пошло, то можно было бы обосновать, когда МНК вообще применим.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение10.12.2015, 13:34 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Ну, применим, когда ошибка аддитивна и подчинена нормальному закону распределения с постоянной дисперсией и нулевым средним. Просто при практическом применении руководствуются тезисом: "Если нельзя, но очень хочется, то можно". Не только применительно к МНК, разумеется. Но, скажем, всякого рода регрессионные модели в экономике используются даже там, где точно не выполняются условия. Да и в естественных науках дело лучше, но ненамного.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение10.12.2015, 18:58 
Аватара пользователя


26/05/12
1534
приходит весна?
Евгений Машеров в сообщении #1081102 писал(а):
...с постоянной дисперсией...
Ну, это не обязательно. Для этого и нужен МНК с весами. Только дисперсию каждого отдельного измерения надо знать.

-- 10.12.2015, 20:02 --

Евгений Машеров в сообщении #1081102 писал(а):
Если нельзя, но очень хочется, то можно
Самое забавное, когда данные, измеренные линейкой, или снятые непосредственно с индикатора, другими словами имеющие в качестве аддитивной погрешности только погрешность отсчёта, непосредственно подставляются в МНК. Если такие данные скормить методу максимального правдоподобия (из которого выводится МНК), то он сойдёт с ума: либо для целой области параметров функция правдоподобия равна константе, а вне этой области равна нулю, либо она равна нулю вообще везде. И нет никакого локального максимума.

 Профиль  
                  
 
 Re: Метод наименьших квадратов
Сообщение11.12.2015, 11:19 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Введение весов в МНК это способ "малой кровью" справиться с нарушений условий применения метода.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 27 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group