Регрессия квадратичного полинома

[Dedekind]

sergey zhukov
Если метры и килограммы нормировать на 1, то получатся безразмерные величины одинакового масштаба, которые можно складывать.

-- 23.04.2023, 20:21 --

sergey zhukov
Если метры и килограммы нормировать на 1, то получатся безразмерные величины одинакового масштаба, которые можно складывать.

[GAA]

пианист в сообщении #1590825 писал(а):

Вот и интересно, когда и почему так лучше.

Понятно, что если ошибки имеются не только в измерении $y_i$, но и в измерении $x_i$, то задача усложняется. Если дисперсия ошибок $x_i$ и $y_i$ равны, то в случае линейной зависимости приходим к опусканию перпендикуляров из точек на прямую.
Вообще, нужно смотреть книги по Метод наименьших полных квадратов. Сам я таких книг на русском не знаю. Но на английском вроде есть. (Несмещённость оценок параметров в случае простого МНК получается в предположении отсутствия погрешностей в $x_i$. Если же погрешности есть, то нужно уже искать не разность вдоль ординат. Вот и довод.)

-- Sun 23.04.2023 20:58:52 --

Alex-Yu в сообщении #1590826 писал(а):

Здесь, видимо, опечатка: нет никакого смысла писать линейный член дважды.

Да, конечно, спасибо за замечание.

-- Sun 23.04.2023 21:03:38 --

В книжке Демиденко Е. З. Линейная и нелинейная решгрессия, 1981 есть глава 4 ошибки в независимых переменных.

-- Sun 23.04.2023 21:18:32 --

Даже в случае независимости, несмещённости и одинаковой распределённости ошибок измерения $x_i$ в случае квадратичной зависимости очевидно всё сложно: квадрат нормально распределённой случайной величины уже не будет нормально распределённой.

[sergey zhukov]

Мне всегда было интересно, почему нужно брать сумму именно квадратов отклонений? Кое-где встречал такое нелепое объяснение, что это, мол, для того, чтобы все отклонения были положительны (т.е. не компенсировали друг-друга в сумме).

На самом же деле значения любой функции можно принять за коэффициенты ее разложения в базисе ортогональных функций, в котором сумма квадратов разностей (точнее, интеграл квадрата разности) просто равна квадрату расстояния между точками-функциями в этом пространстве. Т.е. минимум суммы квадратов отклонений - это просто минимум расстояния между точками-функциями в этом пространстве.

[GAA]

GAA в сообщении #1590839 писал(а):

несмещённости

Описался. Нужно было написать отсутствием систематической погрешности, т.е. равенство нулю математического ожидания.

-- Sun 23.04.2023 22:33:13 --

sergey zhukov в сообщении #1590845 писал(а):

почему нужно брать сумму именно квадратов отклонений?

Для линейной регрессии в случае суммы квадратов (+ отсутствие погрешности измерений независимой переменной + независимость и одинаково нормально распределённость погрешностей с нулевым математическим ожиданием) получается построить содержательную теорию: доверительные интервалы для дисперсии погрешности измерений $y$, доверительные интервалы для параметров, доверительные эллипсоиды для нескольких параметров, критерии проверки гипотез.
Для нелинейной уже более слабые результаты: асимптотические доверительные интервалы и т.п.

sergey zhukov в сообщении #1590845 писал(а):

На самом же деле...

А в других случаях столь содержательной теории мне не встречалось. Ссылки на книги не приведёте?

[Александрович]

sergey zhukov в сообщении #1590845 писал(а):

почему нужно брать сумму именно квадратов отклонений?

Это для МНК, для МНМ минимизируется сумма модулей.

[sergey zhukov]

GAA
Да какие уж там книги...

Представление функции точкой в бесконечномерном пространстве с евклидовой метрикой сразу приводит к ясному представлению о том, что расстояние между функциями должно вычисляться, как интеграл именно от квадрата их разности (обычная теорема Пифагора), а МНК минимизирует это расстояние. Я не говорю, что тут какие-то строгие результаты. Просто яркий образ.

Метрику можно определять разными способами, конечно. Я не говорю, что евклидовая тут очевидно подходит лучше всего. Но когда смотришь на это дело с такой точки зрения, то евклидова метрика выглядит совершенно естественно, а метрика типа "интеграл модуля разности" выглядит уже не такой подходящей.

Т.е. когда смотришь на МНК, как на минимизацию расстояния между двумя точками в многомерном пространстве, становится понятнее.

[пианист]

GAA в сообщении #1590839 писал(а):

Понятно, что если ошибки имеются не только в измерении $y_i$, но и в измерении $x_i$, то задача усложняется.

Да. К счастью, никогда не попадал в ситуацию, когда при расчете регрессии надо учитывать ошибки по $x$, таки обычно точно знаешь, в какой точке что-то меряешь/определяешь. Но верю, что бывает и такое ;)

[Александрович]

пианист в сообщении #1590873 писал(а):

никогда не попадал в ситуацию, когда при расчете регрессии надо учитывать ошибки по $x$

Например измерение сопротивления методом амперметра и вольтметра. Но обычно погрешности по $x$ вгоняются в погрешности измерения $y$.

[Alex-Yu]

sergey zhukov в сообщении #1590845 писал(а):

Мне всегда было интересно, почему нужно брать сумму именно квадратов отклонений?

Это просто. На самом деле максимизируется плотность вероятности. А шумы (источник погрешности) обычно распределены по Гауссу. В показателе гауссиана стоит квадрат. Если шумы в разных точках независимы (стандартно предполагается), то общая плотность вероятности есть произведение таковых в каждой точке. Произведение экспонент дает экспоненту от суммы. А поскольку в экспоненте минус, то максимум экспоненты соответствует минимуму суммы квадратов отклонений (отклонение в каждой точке это и есть шум). В итоге получается МНК.

[sergey zhukov]

Alex-Yu
Т.е. вот так это нужно понимать:


Синие точки - экспериментальные. Вокруг каждой точки приближающей кривой (красная) строим гауссиану с одинаковой дисперсией. Цель в общем случае - максимизировать произведение длин синих отрезков. В данном конкретном случае это равносильно минимизации суммы квадратов отклонений.

Если дисперсии в разных точках не равны, или распределения вообще отличаются от гауссового, то МНК не работает.

[ozheredov]

sergey zhukov в сообщении #1590887 писал(а):

Цель в общем случае - максимизировать произведение длин синих отрезков.

Т.е. метод максимального правдоподобия.

sergey zhukov в сообщении #1590887 писал(а):

Если дисперсии в разных точках не равны, или распределения вообще отличаются от гауссового, то МНК не работает.

Почему МНК обязан ориентироваться на критерий максимального правдоподобия?

[Alex-Yu]

sergey zhukov в сообщении #1590887 писал(а):

Если дисперсии в разных точках не равны, ... то МНК не работает.

Не то чтобы не работает, требует модификации. Для гауссовых шумов получится не просто сумма, а взвешенная сумма. Можно даже модифицировать на случай скорелированных шумов (тогда немного сложнее). Но негауссовы шумы действительно случай особый.

P.S. Это практически та же задача, что оптимальный прием сигналов в аддитивных шумах (вообще-то бывают и не аддитивные). Замечу, что случай негауссовых шумов в теории такого приема активно изучается.

-- Пн апр 24, 2023 18:13:19 --

ozheredov в сообщении #1590888 писал(а):

Почему МНК обязан ориентироваться на критерий максимального правдоподобия?

Потому что. Дурацкий вопрос -- дурацкий ответ :)

[ozheredov]

Alex-Yu в сообщении #1590892 писал(а):

Потому что. Дурацкий вопрос -- дурацкий ответ :)

Вот то-то и оно, что не обязан, и НК-критерий имеет право на самостоятельное существование

[Евгений Машеров]

sergey zhukov в сообщении #1590845 писал(а):

Кое-где встречал такое нелепое объяснение, что это, мол, для того, чтобы все отклонения были положительны (т.е. не компенсировали друг-друга в сумме).

Это не нелепое, это упрощённое. Для школьника, поинтересовавшегося, отчего так сложно - квадраты - а не просто разности. После чего он либо удовлетворится и пойдёт играть в футбол, либо спросит, а почему бы не абсолютные величины взять. Тут уже придётся рассказывать о полемике между Бьенемэ и Коши, про нормальное распределение и что иногда как раз абсолютные величины лучше, а иногда квадраты, "робастность против эффективности".

[пианист]

Евгений Машеров
Раз уж пошла такая пьянка..
Скажите, а есть хорошие робастные методы построения регрессии?