Определение линейного тренда синусо-подобной зависимости

[fan_of_algoritms]

Как численно определить коэффициенты прямой проходящей через ось колебаний наклонной синусо-подобной зависимости? МНК, МНМ и медианная регрессия не подходят, т.к. в зависимости от начальной и конечной фазы прямая колеблется.

[alisa-lebovski]

Проведите вторичное усреднение, по набору прямых, которые получаются в процессе.

[fan_of_algoritms]

alisa-lebovski в сообщении #1337373 писал(а):

Проведите вторичное усреднение, по набору прямых, которые получаются в процессе.

Так не получается, в процессе присутствует только одна кривая с заранее неизвестными начальной и конечной фазами.

[dsge]

Подгоняйте фазы тоже как неизвестные параметры в рамках МНК или лучше МП.

[fan_of_algoritms]

Вы предлагаете brut force, и границы перебора понятны, а я надеюсь, что такую простую задачу можно решить аналитически или алгоритмически, численно, без перебора.

[dsge]

fan_of_algoritms в сообщении #1337385 писал(а):

Вы предлагаете brut force, и границы перебора понятны, а я надеюсь, что такую простую задачу можно решить аналитически или алгоритмически, численно, без перебора.

Нет, если фазы трактуются как неизвестные параметры, то в рамках нелинейного МНК можно использовать любой численный метод минимизации - или типа Ньютона, или что-то безградиентное.
Аналитически такую задачу решить не получится.

[fan_of_algoritms]

Т.е. вы предл. исп. оптим. алгоритм. Но для этого нужно построить синус и получить ошибку. Но в зависимости синуса может не быть,(что-то подобное лишь) и что тогда приближает минимизация ошибки?

[alisa-lebovski]

fan_of_algoritms в сообщении #1337378 писал(а):

alisa-lebovski в сообщении #1337373 писал(а):

Проведите вторичное усреднение, по набору прямых, которые получаются в процессе.

Так не получается, в процессе присутствует только одна кривая с заранее неизвестными начальной и конечной фазами.

Пусть у вас есть $n$ наблюдений. Считаете коэффициенты (линейной регрессией) для первых $k$ наблюдений, для каждого $k$ от 2 до $n$, полученные коэффициенты усредняете.

[dsge]

fan_of_algoritms в сообщении #1337391 писал(а):

Но в зависимости синуса может не быть

Тогда про какие фазы идет речь?
Подгонять данные можно, использую или параметрические, или непараметрические методы. В первом случае должна быть задана функциональная зависимость (синусоида, линейный, полиномиальный тренд и т.п.) с неизвестными параметрами, которые оцениваются, минимизирую какую-либо меру рассогласования модельных значений и данных, и используя МНК, максимум правдоподобия, и подобное. В случае непараметрических методов нет необходимости в явной функциональной зависимости и если достаточно данных, то можно использовать, скажем, ядерные регрессии, т.е. использовать для каждой точки только наблюдения из фиксированной окрестности с какими-то весами.

[Pphantom]

Принципиально можно использовать методы выявления периодичности, после чего вычитать из данных полученные синусоиды до тех пор, пока новые периоды не перестанут появляться. Например, нечто подобное делает метод CLEAN, надо будет только сохранить параметры оставшегося тренда.

Правда, это, пожалуй, для большинства реальных задач слишком сложно, проще воспользоваться чем-то из уже предложенного выше.

[fan_of_algoritms]

Pphantom в сообщении #1337398 писал(а):

Принципиально можно использовать методы выявления периодичности, после чего вычитать из данных полученные синусоиды до тех пор, пока новые периоды не перестанут появляться. Например, нечто подобное делает метод CLEAN, надо будет только сохранить параметры оставшегося тренда.

Правда, это, пожалуй, для большинства реальных задач слишком сложно, проще воспользоваться чем-то из уже предложенного выше.

Это, по сути, непараметрический тренд гильберта, он несложно считается. Но для алгоритма нужно минимум по 2 экстремума с каждой стороны, а их может и не быть(например 2 и 1 или 1 и 1).

-- 08.09.2018, 16:11 --

alisa-lebovski в сообщении #1337393 писал(а):

fan_of_algoritms в сообщении #1337378 писал(а):

alisa-lebovski в сообщении #1337373 писал(а):

Проведите вторичное усреднение, по набору прямых, которые получаются в процессе.

Так не получается, в процессе присутствует только одна кривая с заранее неизвестными начальной и конечной фазами.

Пусть у вас есть $n$ наблюдений. Считаете коэффициенты (линейной регрессией) для первых $k$ наблюдений, для каждого $k$ от 2 до $n$, полученные коэффициенты усредняете.

Наблюдение только одно - ряд точек. Можно пробежать и по ним и усреднить, но: 1) ошибка(отклонение усредненной прямой от центра колебаний) останется большой; 2) надо заранее знать, что амплитуды колебаний равны(или меняются симметрично по гладкому закону), а это не известно.

[Andrey_Kireew]

МНК и МНМ не подходят по тому, что Вы не корректно их применяете. Эти методы предполагают определённую форму распределения остатков (первый - нормальное распределение, второй - лаласово). А у Вас что в остатках? сумма гармонических колебаний?
знаете какое распределение имеют такие остатки, хотя бы примерно? попробуйте для интереса построить гистограмму и сильно удивитесь ...

[alisa-lebovski]

Под наблюдениями я и имею в виду точки. Из множества точек можно выбирать разные подмножества, куски, в принципе с любого места по любое. Тогда и начальные и конечные фазы для этих кусков будут самые разные, их влияние на усредненную (или медианную) прямую должны нивелироваться.

[fan_of_algoritms]

Придумал, надо провести МНК прямые по максимумам и минимумам и найти среднюю прямую между ними, и не надо ничего мудрить...

[Andrey_Kireew]

Да, так будет лучше, но всё равно это "шаманство".
Если ряд не очень длинный, я бы его аппроксимировал многочленами Чебышева, увеличивая порядок до тех пор, пока распределение ошибки аппроксимации не станет унимодальным. Искомая прямая будет суммой многочленов 0-го и 1-го порядков. Разумеется, переменную времени $t$ необходимо масштабировать так, чтобы ряд расположился в интервале ортогональности.

Если Вы ищите действительно прямую линию, то это будет лучший вариант. Такая прямая не будет зависеть от сезонности (ни от фаз, ни от частот "почти синусоид").