Метод наименьших квадратов

[Sicker]

Когда мы заменой переменных линеаризируем нашу функции, то применяя МНК, а затем обратное преобразование мы получим не то же самое, если бы применяли МНК в лоб?

[ИСН]

Нет.

[Sicker]

ИСН
Те тоже самое или не тоже самое?

[DeepEconom]

(Не тоже самое)

Не тоже самое.
Была кривулька в виде набора точек, выпрямили, потом провели прямую, если вернуться назад, то прямая станет кривой. А если не выпрямлять первоначальный набор точек, то будет просто прямая.

[miflin]

Sicker в сообщении #1080950 писал(а):

не тоже самое?

Хотели сказать "не то же самое"...
Да, не то же самое.
Если взять, например, простейшее $y=\frac{a}{x}$, то получится минимальная сумма квадратов отклонений теоретических обратных величин от экспериментальных обратных величин. Иногда это не лучший вариант. Тогда можно минимизировать сумму квадратов относительных отклонений, или ещё как-то, но я глубоко этим не занимался.

[Sicker]

DeepEconom
Вы меня неправильно поняли
miflin
А ясно, я так и думал) Те при выпрямлении получаем бонус привычной задачи минимизации, и минус- что это уже не совсем честный МНК.

[B@R5uk]

Честный МНК — это тот, в котором учитываются погрешности "игреков". Если при линеаризации задачи так же пересчитываете и погрешности "игреков", а потом учитываете их в МНК, то это будет тоже честный МНК, и даст тот же самый результат (в пределах погрешности пересчитывания погрешности). Другими словами результат будет совпадать в пределах погрешности.

[Sicker]

B@R5uk в сообщении #1080972 писал(а):

так же пересчитываете и погрешности "игреков"

А тогда мы не сможем применить метод моментов $M_{x,y,xy,y^2}$

[B@R5uk]

Не знаю что это такое. Он правда так нужен?

[Алексей К.]

Sicker,

полагаю, Вам будет небезынтересно узнать, что, применив "честный" МНК к линейной задаче $x_i\to y_i$ ($y=kx+b$), и затем поменяв местами аргумент и функцию $(y_i\to x_i)$, Вы тем самым перейдёте к "нечестному" МНК, и, соответственно, полученная прямая будет (в общем случае) совсем другой, вовсе не $x=\dfrac{y}{k}-\dfrac{b}{k}$, как это изначально вожделелось.

[Евгений Машеров]

Не то же самое. Меняется спецификация ошибки. Иногда, впрочем, меняется к лучшему, в смысле для преобразованной применение МНК более обосновано.
Если оцениваемая модель $y=ax^b$, то с учётом ошибки, она будет $y=ax^b+\varepsilon$
Логарифмирование изменит распределение $\varepsilon$, если исходно оно было нормальным, то в полученной логарифмированием модели $v=\ln y= \ln a+b\ln x+\eta$ распределение $\eta$ нормальным уже не будет, и дисперсия его уже, вообще говоря, не будет одинаковой для всех наблюдений (а при больших отрицательных значениях $\varepsilon$ и вовсе появятся под логарифмом отрицательные величины).
Однако если спецификация ошибки имеет вид $y=ax^be^{\varepsilon}$, то есть влияние случайных факторов мультипликативно, и его можно полагать проявляющимся домножением на логнормальную случайную величину, взамен прибавления нормальной, что выглядит достаточно похожим на правду, если для разных наблюдений есть основания ждать одинаковых относительных отклонений, и равновероятны одинаковые относительные, то в этом случае после логарифмирования приходим к ситуации, в которой условия применения МНК выполнены в точности, тогда как для непреобразованной задачи они выполняются лишь приближённо.

[B@R5uk]

Евгений Машеров, глубоко копнули. Если на то пошло, то можно было бы обосновать, когда МНК вообще применим.

[Евгений Машеров]

Ну, применим, когда ошибка аддитивна и подчинена нормальному закону распределения с постоянной дисперсией и нулевым средним. Просто при практическом применении руководствуются тезисом: "Если нельзя, но очень хочется, то можно". Не только применительно к МНК, разумеется. Но, скажем, всякого рода регрессионные модели в экономике используются даже там, где точно не выполняются условия. Да и в естественных науках дело лучше, но ненамного.

[B@R5uk]

Евгений Машеров в сообщении #1081102 писал(а):

...с постоянной дисперсией...

Ну, это не обязательно. Для этого и нужен МНК с весами. Только дисперсию каждого отдельного измерения надо знать.

-- 10.12.2015, 20:02 --

Евгений Машеров в сообщении #1081102 писал(а):

Если нельзя, но очень хочется, то можно

Самое забавное, когда данные, измеренные линейкой, или снятые непосредственно с индикатора, другими словами имеющие в качестве аддитивной погрешности только погрешность отсчёта, непосредственно подставляются в МНК. Если такие данные скормить методу максимального правдоподобия (из которого выводится МНК), то он сойдёт с ума: либо для целой области параметров функция правдоподобия равна константе, а вне этой области равна нулю, либо она равна нулю вообще везде. И нет никакого локального максимума.

[Евгений Машеров]

Введение весов в МНК это способ "малой кровью" справиться с нарушений условий применения метода.