Регрессия квадратичного полинома

[Евгений Машеров]

Смотря что есть "хорошее". Может быть, для конкретной задачи окажется вполне хорош МНМ. Через линейное программирование или через МНК-регрессию с весами. Были работы со смешанными функциями, при малых отклонениях квадратичны, затем линейны, были и другие. Такого, чтобы однозначно рекомендовать - не знаю.

[пианист]

Спасибо!
Я как-то не задумывался, что МНМ это ЛП. Надо будет покрутить как-нибудь.

[Евгений Машеров]

ValDec в сообщении #1590725 писал(а):

Помогите получить формулы вычисления коэффициентов параболической регрессии
без использования матриц.

В общем случае всё равно придётся СЛАУ решать, то есть "без использования матриц" это без употребления слова "матрица", и только.
В частных случаях можно упростить. Например, если иксы образуют арифметическую прогрессию (скажем, равномерные отсчёты по времени). Тогда несложно построить три ортогональные функции: константу, линейную и параболу, посчитать для каждой в отдельности и собрать вместе.

[Евгений Машеров]

пианист в сообщении #1590968 писал(а):

Я как-то не задумывался, что МНМ это ЛП. Надо будет покрутить как-нибудь.

Например, так. Переменные линейного программирования - коэффициенты регрессии $ a_i$ и невязки $v_j$. Целевая функция - сумма абсолютных значений невязок (для их получения вводятся дополнительные переменные, и для них дополнительные ограничения, больше или равно переменной невязки и больше или равно переменной невязки, взятой с минусом). Ограничения модели - равенства $y_j-\sum a_i x_{i,j}+v_j=0$

[пианист]

Евгений Машеров
Ну да, что-то такое. И явно задача будет не чрезмерно громоздкая и решаемая за нормальное время.
Интересно еще, имеет ли какой-то самостоятельный смысл двойственная задача.

[Евгений Машеров]

Изменения коэффициентов модели при варьировании игреков?

[пианист]

Фих знает.
Экзотика какая-то получилась (если не наврал, конечно).
Если в прямой задаче надо найти $a, b, v_i, i = 1..n$, т.ч.
$y_i - ax_i - b \le v_i$,
$-y_i + ax_i + b \le v_i$,
$\sum_i v_i \to \min$,
то в обратной задаче получаем $2n$ переменных $\alpha_i, \beta_i$ ($\ge0$, т.к. прямые условия нежесткие) и $n+2$ условий, причем жестких, поскольку ни на $a, b$, ни на $v_i$ условий знакоопределенности нет (на $a, b$ просто нет, а на $v_i$ незачем). Поэтому $\beta_i$ "съедаются", остаются только $\alpha_i$ (неотрицательные), так что в итоге
$\sum_i x_i(2\alpha_i - 1) = \sum_i(2\alpha_i - 1) = 0$,
$\sum_i y_i\alpha_i \to \max$.

[Alex Krylov]

Мож кому понадобится...

Вот тут "Суетин П. К. Классические ортогональные многочлены. — 3-е изд., перераб. и доп. - М.: ФИЗМАТЛИТ, 2005. - 480 с." на стр. 286 есть раздел "Ортогональные многочлены дискретного переменного". И более конкретно в этом параграфе на стр. 292-293 приводятся так называемые многочлены Чебышева для равноотстоящих точек.

Полиномиальная регрессия на базе вот этих ортогональных многочленов - это один из устойчивых вариантов реализации полиномиальной регрессии (высокого порядка). Коэффициенты регрессии вычисляются как взвешенные суммы (набора данных) по ортогональным многочленам.

Условия применимости: измерения равноточные с постоянным шагом

[sergey zhukov]

Евгений Машеров в сообщении #1590926 писал(а):

Это не нелепое, это упрощённое. Для школьника, поинтересовавшегося, отчего так сложно - квадраты - а не просто разности. После чего он либо удовлетворится и пойдёт играть в футбол, либо спросит, а почему бы не абсолютные величины взять

Сегодня первый раз отчетливо понял, зачем нужны именно квадраты. Взял простую задачу: несколько точек с кривой "полином с наложенным на нее быстрым синусом". Думаю, сейчас регрессия этого дела тем самым полиномом методом МНМ правильно "обнаружит" тренд под синусом (регрессия методом градиентного спуска). Ничуть не бывало. Для МНМ провести любой полином "внутри" этого облака точек значит по сути почти одно и то же, там "плоская" область по ошибке. Так что он проводит там регрессионный полином обычно по границе области без всякой уверенности. А вот для МНК внутри этого облака есть явный минимум, и он на нем четко стабилизируется.

Если говорить совсем просто, то если взять две точки, то МНК "понимает", что средняя между ними точка должна быть по центру. А МНМ все равно, где ее поставить.

Т.е. простая задача "провести кривую между экспериментальными точками" для МНМ неоднозначна, т.к. МНМ больше подходит для задачи "проведи кривую так, чтобы разделить экспериментальные точки на два равных множества: над и под кривой". Эту кривую можно провести многими способами. А вот МНК дает единственное решение этой задачи.

Простой факт, конечно. Но как-то непонимаешь этого, пока не повозишься на практике.

[Missir]

пианист в сообщении #1591702 писал(а):

Поэтому $\beta_i$ "съедаются", остаются только $\alpha_i$ (неотрицательные), так что в итоге

Всё именно так, но на практике от этого обычно выигрыша нет, проблема в том, что двойственная задача хотя и выглядит компактной и более привлекательной, но её решение требует гораздо большего числа итераций. Это сводит все её преимущества на нет. К тому же, классический симплекс-метод для решения прямой ЗЛП в регрессии МНМ практически не используется. Для этого давно разработаны оптимизированные алгоритмы (Borrodale&Roberts, Lei Anderson), с ускоренной сходимостью и требующие ничуть не больше машинной памяти, чем алгоритмы с двойственной задачей.
Вообще, решение МНМ регрессии через линейное программирование далеко не единственный путь. Для этого может быть использован, например, МНК с итеративным перевзвешиванием (IRLS), который намного проще в понимании. Кстати, именно он реализован в python, причём довольно таки криво.

-- 11.07.2024, 16:30 --

sergey zhukov в сообщении #1646016 писал(а):

простая задача "провести кривую между экспериментальными точками" для МНМ неоднозначна

у МНМ есть одна интересная особенность, которую Вы похоже не заметили. МНМ кривая обязательно точно пройдёт через N наблюдений выборки, причём N определяется размерностью данных, и в случае одномерной параболы это 3. Посмотрите внимательнее, и найдёте эти точки.

[sergey zhukov]

Missir
Да, действительно. Я вообще заметил, что МНМ почему-то "приклеивается" к точкам, и мне это показалось странным. Вот 14 точек типа "0,1,0,1...", через которые я провел многочлен четвертой степени методом МНМ:

Он проходит через четыре точки данных. Сразу видно, что МНК сдеал бы это совершенно иначе (примерно провел бы горизонтальную прямую по центру картинки) Т.е. по сути регрессионные полиномы МНМ - это плиномы Лагранжа. Осталось только понять, через какие же точки данных они должны пройти, и тогда найти их совсем легко.

Результат регрессии методом МНМ тоже однозначный, конечно. Только по сравнению с МНК глобальный минимум МНМ очень слабо выражен. Его сложнее найти. В данном случае экстремальное решение "держится" только на том, что нижний ряд точек "сдвинут по фазе" относительно верхнего ряда. Если бы у верхней и нижней точек в кажой паре были-бы одинаковые $X$, экстремальное решение по МНМ остутствовало бы: внутри этого прямоугольника точек все кривые обладали бы равной суммой модулей отклонений.

И результат МНМ на самом деле странноватый для того, кто привык к результату по методу МНК. Как-то от него ожидаешь примерно то же, что и от МНК.

[Missir]

sergey zhukov в сообщении #1646048 писал(а):

Осталось только понять, через какие же точки данных они должны пройти, и тогда найти их совсем легко

да, но задача оптимизации МНМ, по сути и состоит в поиске этих точек, например симплекс алгоритм последовательно перебирает точки, пока не будет достигнут минимум сумме абсолютных отклонений и представляет собой некое подобие градиентного поиска.

sergey zhukov в сообщении #1646048 писал(а):

Если бы у верхней и нижней точек в кажой паре были-бы одинаковые $X$, экстремальное решение по МНМ остутствовало бы: внутри этого прямоугольника точек все кривые обладали бы равной суммой модулей отклонений.

вернее сказать, в этом случае существовало бы множество эквивалентных решений, с одинаковым MAD. Это так называемый случай вырожденной ЗЛП. Просто его нужно правильно интерпретировать.

И Вы совершенно напрасно полагаете, что МНМ, и тем более его обобщения, однозначно хуже МНК. Последний проще всего реализуется, но эффективен он только в случае нормального распределения регрессионных остатков. Иначе МНМ, который кроме всего прочего намного сложнее, никто бы никогда не использовал. Но интерес к нему так и не исчезает.

[sergey zhukov]

Missir в сообщении #1646060 писал(а):

И Вы совершенно напрасно полагаете, что МНМ, и тем более его обобщения, однозначно хуже МНК.

Да нет. Я так не считаю. Просто теперь лучше вижу разницу между этими методами. Раньше как-то полагал, что это примерно одно и то же. Что-то вроде того, что если искать сумму разности квадратов, то проще вычислять аналитически. А с модулем так не получается, поэтому квадраты и берут. Но теперь вижу, что все сложнее.

Кстати, на картинке многочлен третьей степени, конечно, а не четвертой. Это я не то написал. Поэтому четыре точки.

[Евгений Машеров]

На предельно упрощённой модели - поиск параметра положения для одномерной величины - МНК предлагает нам среднее арифметическое, МНМ медиану. При этом при нормальном распределении дисперсия среднего на четверть ниже медианы, но отклонения от нормальности на среднее влияют фатально, а медиана почти не меняется. Кроме того, при чётном числе $2m $наблюдений оценка МНМ неоднозначна, в этом качестве равноценны любые величины между $x_{(m)}$ и $x_{(m+1)}$ членами вариационного ряда.

[мат-ламер]

sergey zhukov в сообщении #1646016 писал(а):

простая задача "провести кривую между экспериментальными точками" для МНМ неоднозначна

sergey zhukov в сообщении #1646048 писал(а):

Результат регрессии методом МНМ тоже однозначный, конечно.

Всякое бывает, однако.

-- Пт июл 12, 2024 16:31:40 --

sergey zhukov
Просто интересно, что там с однозначностью в вашем примере с гребёнкой? Вы разобрались? Помощь нужна?

-- Пт июл 12, 2024 16:33:47 --

sergey zhukov в сообщении #1646048 писал(а):

Т.е. по сути регрессионные полиномы МНМ - это плиномы Лагранжа.

Бывает, что и нет.

-- Пт июл 12, 2024 16:36:23 --

sergey zhukov в сообщении #1646048 писал(а):

Только по сравнению с МНК глобальный минимум МНМ очень слабо выражен

Опять же, бывает всякое. И ещё вопрос, как эту слабую выраженность понимать.