Определение линейного тренда синусо-подобной зависимости

[fan_of_algoritms]

посторонняя ссылка удалена
Красный - МНМ-регрессия, черный - МНК-регрессия, зеленый - медианная регрессия, сиреневый - тренд Гильберта.
Где находится ось колебаний - в данном случае интуитивно понятно, но если график наклонить это станет непонятным, соответственно и использовать гармоническую функцию для алгоритмов оптимизации не получается. По максимумам и минимумам попробовал провести прямые и усреднить - не получается, т.к. неизвестен критерий по которому выбирать максимумы и минимумы.

[Pphantom]

fan_of_algoritms, не надо размещать вместе с картинками ссылки на не относящиеся к вопросу сайты. Надеюсь, это было случайной ошибкой, но следующий подобный случай я сочту рекламным спамом.

[fan_of_algoritms]

Pphantom в сообщении #1338019 писал(а):

fan_of_algoritms, не надо размещать вместе с картинками ссылки на не относящиеся к вопросу сайты. Надеюсь, это было случайной ошибкой, но следующий подобный случай я сочту рекламным спамом.

Как правильно картинку делать?

p.s. Все, понял. Извиняюсь, не заметил этот хвост сразу.

[Andrey_Kireew]

Мне всегда казалось, что МНМ регрессия и медианная регрессия - одно и то же. Ан нет. И графики разные получаются. Век живи век учись как говориться ...

[fan_of_algoritms]

Andrey_Kireew в сообщении #1338025 писал(а):

Мне всегда казалось, что МНМ регрессия и медианная регрессия - одно и то же. Ан нет. И графики разные получаются. Век живи век учись как говориться ...

Не факт что медианная регрессия верно построена, где-то писали, что в Mathcad заложен не классический алгоритм, но, наверно, что-то близкое.

[Евгений Машеров]

Перейдите к разностям и найдите их среднее (или скорее медиану)

[fan_of_algoritms]

Евгений Машеров в сообщении #1338031 писал(а):

Перейдите к разностям и найдите их среднее (или скорее медиану)

Не могу, для этого на не горизонтальной зависимости нужно знать угол поворота ее оси, а в том числе и его необходимо определить. И даже зная, линия по разностям может быть горизонтальной, при не горизонтальном исходном графике.

[Евгений Машеров]

Вообще хотелось бы видеть спецификацию модели.
1. Есть синус известной частоты (и неизвестной фазы), если не синус, а некая периодическая функция, то близкая к синусу настолько, чтобы отклонения от синуса отнести к "шуму". На него наложен тренд неизвестного наклона.
$y_t=a+bt+C\sin(\omega t+\varphi)+\varepsilon=a+bt+C_1\sin(\omega t)+C_2\cos(\omega t)+\varepsilon$
Оцениваем обычной множественной регрессией, регрессоры время, синус и косинус, фаза выразится через соотношение $C_1$ и $C_2$
2. То же, но частота неизвестна.
Модель та же, но оценивать надо нелинейной регрессией.
3. Частоты и амплитуды меняются во времени.
$y_t=a+bt+C(t)\sin(\omega(t) t+\varphi)+\varepsilon
Напрашивается Гильберт. Но ему мешает тренд, и он выдаст много интересного, но ненужного о колебаниях, и мало о тренде.
4. Тупо взять разности, усреднить по ним и надеяться, что достаточно много периодов колебания, чтобы "неполный" мало исказил бы результат.
5. Брать медианы значений на отрезках максимум-минимум, и по ним уже строить линию.

[fan_of_algoritms]

Евгений Машеров в сообщении #1338055 писал(а):

Вообще хотелось бы видеть спецификацию модели.
1. Есть синус известной частоты (и неизвестной фазы), если не синус, а некая периодическая функция, то близкая к синусу настолько, чтобы отклонения от синуса отнести к "шуму". На него наложен тренд неизвестного наклона.
$y_t=a+bt+C\sin(\omega t+\varphi)+\varepsilon=a+bt+C_1\sin(\omega t)+C_2\cos(\omega t)+\varepsilon$
Оцениваем обычной множественной регрессией, регрессоры время, синус и косинус, фаза выразится через соотношение $C_1$ и $C_2$
2. То же, но частота неизвестна.
Модель та же, но оценивать надо нелинейной регрессией.
3. Частоты и амплитуды меняются во времени.
[math]$y_t=a+bt+C(t)\sin(\omega(t) t+\varphi)+\varepsilon
Напрашивается Гильберт. Но ему мешает тренд, и он выдаст много интересного, но ненужного о колебаниях, и мало о тренде.
4. Тупо взять разности, усреднить по ним и надеяться, что достаточно много периодов колебания, чтобы "неполный" мало исказил бы результат.
5. Брать медианы значений на отрезках максимум-минимум, и по ним уже строить линию.

Спасибо, надо подумать. Гильберта я нарисовал, как видно, ему и краевые условия тоже мешают.

[Евгений Машеров]

fan_of_algoritms в сообщении #1338050 писал(а):

Не могу, для этого на не горизонтальной зависимости нужно знать угол поворота ее оси, а в том числе и его необходимо определить.

$y_t=a+bt+C\sin(\omega t+\varphi)+\varepsilon$
Переходим к первым разностям.
$\Delta_t=y_t-y_{t-1}=b+2C\cos(\omega (t-\frac 1 2)+\varphi)\sin\frac \omega 2+(\varepsilon_t-\varepsilon_{t-1})$
То есть угол наклона оказывается просто константой, подлежащей оцениванию и легко оцениваемой (хотя что лучше, среднее или медиана, или ещё что - не вем). Периодический член усредняется, поскольку в среднем 0, но так как в начале и/или в конце есть "хвосты", они среднее искажают. Величина искажения пропорциональна отношению длины "хвостов" ко всей записи. Можно их попробовать отсечь, беря начальные и конечные точки одной фазы (максимумы, минимумы, пересечения изолинии вверх или вниз и т.п.).
Несколько напрягает порча спецификации ошибки, мы теперь не вправе говорить, что это "независимые величины" (хотя одинаковость распределения, даже и нормальность могут сберечься). Однако для получения самой оценки, а не её значимости, это может быть не принципиально.

[fan_of_algoritms]

Евгений Машеров в сообщении #1338072 писал(а):

fan_of_algoritms в сообщении #1338050 писал(а):

Не могу, для этого на не горизонтальной зависимости нужно знать угол поворота ее оси, а в том числе и его необходимо определить.

$y_t=a+bt+C\sin(\omega t+\varphi)+\varepsilon$
Переходим к первым разностям.
$\Delta_t=y_t-y_{t-1}=b+2C\cos(\omega (t-\frac 1 2)+\varphi)\sin\frac \omega 2+(\varepsilon_t-\varepsilon_{t-1})$
То есть угол наклона оказывается просто константой, подлежащей оцениванию и легко оцениваемой (хотя что лучше, среднее или медиана, или ещё что - не вем). Периодический член усредняется, поскольку в среднем 0, но так как в начале и/или в конце есть "хвосты", они среднее искажают. Величина искажения пропорциональна отношению длины "хвостов" ко всей записи. Можно их попробовать отсечь, беря начальные и конечные точки одной фазы (максимумы, минимумы, пересечения изолинии вверх или вниз и т.п.).
Несколько напрягает порча спецификации ошибки, мы теперь не вправе говорить, что это "независимые величины" (хотя одинаковость распределения, даже и нормальность могут сберечься). Однако для получения самой оценки, а не её значимости, это может быть не принципиально.

Спасибо, так все получилось. Как говорится - все гениальное просто, средняя производная. :)
Работает с медианой.

[Andrey_Kireew]

fan_of_algoritms у Вас короткий ряд. По форме он идеально подходит для того, о чём я писал. Если у Вас затруднения с реализацией, то пришлите данные в числах, мы посмотрим как лучше сделать.

[Евгений Машеров]

Вообще взятие разностей был излюбленный приём экономических статистиков для удаления тренда (вторых, третьих etc. для квадратичного, кубичного и т.д.) век-полтора назад. Потом пришёл злой Слуцкий и принёс эффект Слуцкого-Юла, сочетание взятия разностей и сглаживания скользящими средними работает, как сочетание (плохих, честно говоря) ВЧ-фильтра и НЧ-фильтра, а вместе - полосовой фильтр, так что можно взять набор независимых случайных чисел и получить циклы частоты, зависящей только от порядка разностей и типа сглаживания. Сейчас экономисты говорят о 4 циклах, а тогда их выделяли несколько десятков. Причём не уверен, что входящий в "четвёрку" выживших цикл Кондратьева не такой же артефакт обработки (расчёты делались не Кондратьевым и описаны довольно кратко, но очень на то похоже)
Тут некоторое обсуждение https://lex-kravetski.livejournal.com/593513.html
Конкретно моя попытка анализа работы Кондратьева там
https://lex-kravetski.livejournal.com/5 ... #t75651945

[fan_of_algoritms]

Евгений Машеров в сообщении #1338121 писал(а):

Вообще взятие разностей был излюбленный приём экономических статистиков для удаления тренда (вторых, третьих etc. для квадратичного, кубичного и т.д.) век-полтора назад. Потом пришёл злой Слуцкий и принёс эффект Слуцкого-Юла, сочетание взятия разностей и сглаживания скользящими средними работает, как сочетание (плохих, честно говоря) ВЧ-фильтра и НЧ-фильтра, а вместе - полосовой фильтр, так что можно взять набор независимых случайных чисел и получить циклы частоты, зависящей только от порядка разностей и типа сглаживания. Сейчас экономисты говорят о 4 циклах, а тогда их выделяли несколько десятков. Причём не уверен, что входящий в "четвёрку" выживших цикл Кондратьева не такой же артефакт обработки (расчёты делались не Кондратьевым и описаны довольно кратко, но очень на то похоже)
Тут некоторое обсуждение https://lex-kravetski.livejournal.com/593513.html
Конкретно моя попытка анализа работы Кондратьева там
https://lex-kravetski.livejournal.com/5 ... #t75651945

Применительно к экономистам, чаще всего, непонятно зачем они что-то сглаживают. Если в технике природа шума и несущей информацию тенденции понятна и их можно оценить априорно как-то, то в экономике с этим непонятно - это шум или информация, это тенденция или случайная комбинация и т.д. То же с самое с "якобы" выбросами. Много факторов, много скрытых, много не числовых - категориальных. Много шаманства. Касательно Кондратьева, его идею статистически надо оценивать, но т.к. раздел статистики "Анализ малых выборок" не существует в систематизированном виде, это затруднительно. Я слышал, что-то есть у ядерщиков, что-то у ракетчиков, что-то в МГУ - разрозненно т.е.

[Евгений Машеров]

fan_of_algoritms в сообщении #1338125 писал(а):

Применительно к экономистам, чаще всего, непонятно зачем они что-то сглаживают.

Чтобы получать зарплату (с меня фуражка прапорщика Ясненько, старшины роты к-на Очевидность, не слетела?). Без этого остаётся только говорить "цена изменилась, почему - не знаем, как завтра будет - даже не пытаемся догадаться". После сглаживания появляется "тенденция", которую уже можно объяснять. И даже если это чистый артефакт обработки - объяснять равномерный рост (или падение) легче, чем случайные движения.
А что до "анализа малых выборок" - была у меня такая мечта юности, сделать аппарат именно для малых выборок. Увы. Видимо, нереально, хотя какие-то частные вещи можно придумать. Но на малых слишком сильно влияние отдельных наблюдений с "выбросами" (и даже если распределение нормальное - может быть слишком большое отклонение для получения осмысленных ответов), а загрублять, чтобы изменение одного наблюдения не испортило бы результат - получить оценку "не зависимую от данных".