Выделение периодического сигнала из шума

[fizik]

Господа, если кто-то знает хорошую ссылку или хотя бы название подходящего метода, подскажите, пожалуйста.
Ситуация такая: есть временной ряд, представляющий сумму периодического сигнала (не гармонического) и шума (не белого, с трендом). Я знаю период, но не форму периодического сигнала. Шум слабее сигнала, но не сильно. Нужно отделить сигнал от шума.
Литературу по анализу сигналов смотрел, но ее понаписано столько, что там тоже актуальна задача отделения сигнала от шума.

[mserg]

Описание задачи довольно странное... Чего стоит только "временной ряд" и "шум с трендом". Лучше выложить несколько конкретных примеров чтобы можно было понять о чем идет речь. Если я правильно догадываюсь о содержании задачи, то работоспособен метод на основе вариационного исчисления.

[AlexDem]

Если сигнал периодический (то есть в каждом периоде - один и тот же), то вроде как достаточно порезать его по периодам и сложить? Отношение сигнал/шум будет расти как $\sqrt n$, где $n$ - количество таких кусков (это если шум - белый).

[fizik]

OK, слегка уточню. Есть экспериментальные данные по температуре воздуха, отснятой через короткие интервалы (могу хоть несколько месяцев снимать через каждые 10 с). Есть простая модель (собственно, одно уравнение теплового баланса с учетом изменения положения Солнца над горизонтом и теплопередачи земля-воздух), которая позволяет при подборе пары коэффициентов довольно точно получить суточный ход температуры (отклонения не более 1 градуса). Но --- это когда не происходит изменения погоды. В реальности, понятно, погода иногда меняется и в полночь может быть теплее, чем в следующий за ней полдень. Модель дает периодическое решение. Задача состоит в том, чтобы разделить реальные данные на периодику с периодом 24 часа (ее описывать моделью) и остаток, связанный с погодой (его учитывать приближенно, хоть параболой по нескольким точкам). Еще раз повторю, что периодика --- не синус. Некая проблема видится в том, что величина и характер непериодического остатка сильно меняется за много периодов. Может быть, есть что-то более мудрое, чем просто вычисление среднесуточной зависимости?
ЗЫ Профессионально занимаюсь не метеорологией, а гидродинамикой, к этим вещам интерес чисто маргинальный, так что не судите строго. Забавно, что интерес к такой простой модели уже проявляет ГидроМетЦентр. Похоже, они все еще предсказывают на основе ревматизма...

[Евгений Машеров]

Если есть основания считать период в точности известным - когерентное накопление, тоесть усреднения по одинаковым фазам цикла.
Желание учесть влияние трендовых изменений так, чтобы они не были бы приняты за "сезонные" (т.е. имеющие точно известный период - терминология из экономстатистики, с неизвестным периодом именуются "циклические") приводит к методам типа X-11 Census Method II Seasonal Adjustment и подобным. Описания есть у Кендалла и др.

[mserg]

Можно попытаться избавиться от шума и постоянной составляющей, а затем «усреднить» по периодам (см. модели обработки сигналов тут: http://np-soft.ru/downloads/npl20091228.zip).
Как раз то, что Вы хотели. Мат-аппарат – суть метод наименьших квадратов.

Если это не заработает, то нужно увидеть сам «сигнал».

[ASP]

Цитата:

позволяет при подборе пары коэффициентов довольно точно получить суточный ход температуры

Если надо подогнать модель под данные, может быть стоит рассматривать эту задачу как численную минимизацию двумерной функции? Т.е. просто минимизировать ошибку модели в зависимости от параметров при помощи любого известного метода? При такой постановке задачи кстати можно легко обрабатывать пропуски в данных, или скажем взвесить ошибку, если качество модели в светлое время суток важнее.
А если наоборот, надо сначала выделить периодическую составляющаю, а потом подбирать к ней модель, то кроме усреднения можно попробовать использовать ДПФ, выделив компоненты с частотой, кратной суточной.

[Pavia]

Как по мне формализация не правильная. Хотя планета вращается с определенной скоростью, но летом и зимой продолжительность дня и ночи разные отсюда имеем большой период в год. А в течении года если смотреть по суткам периодичности не будет. Будет функция с изменяющимся периудом. Надо будет терминологию уточнить.

Как тут сказали надо минимизировать ошибку ,но проблема в том что надо знать что из себя представляет те данные которые не зависят от вращения планеты.
А они явно не являются случайными с нормальным распределением. В таком случае использование усреднение и мнк даст ошибку.

Вот задачка номер один узнать что есть ваша модель. Насколько она точна "Модель дает периодическое решение." Почему просто не взять эту модель и не вычесть(или поделить) из исходных данных получим как раз остаток который не зависит от периодики. Я не понял, учитываются, в вашей модели, что разные участки земли нагреваются по разному? Еще можно попробовать обратную свертку.

По поводу ДПФ и ПФ. Любой сигнал можно разложить в ряд синусов. Но хорошо это работает только в идеальном случае. А как только от бесконечности переходим к дискретному случаю получаем кучу проблем. Точность растет с числом периодов ~ С/(число периодов). Нужны данные за несколько месяцев, а лучше несколько лет. Может есть какие способы подгонки для поднятия точности, но сомнительно мне. А вот методы не на ДПФ обычно показывают более лучшую точность.

Так как ничего хорошего предложить не могу - то совет прост. Строить новые или совершенствовать существующие модели.

[fizik]

Просто вычесть результаты модели из данных, увы, нельзя: модель полуэмпирическая --- там есть несколько параметров (альбедо, температура почвы, коэффициент теплоотдачи), которые подбираются исходя из лучшего соответствия результатов модели и реальных данных. Понятно, что эти параметры 1) имеют приблизительно периодический характер с периодом год, 2) зависят от погоды (снег выпал, альбедо изменилось). По идее, эти параметры должны играть роль адиабатических инвариантов --- годовые изменения все-таки намного медленнее суточных. Интересно и просто посмотреть на то, как они изменяются в течение года: вот февраль обычно гораздо солнечнее, чем декабрь и январь, и суточный перепад температуры (гораздо больше в феврале) это подтверждает. Хорошо видна и асимметрия нагрев весной-остывание осенью. Но для всего этого хорошо бы выделить из данных ту часть, которую в принципе может описывать модель. Спасибо всем за ответы, попробую на досуге разобраться со статистикой.