Оценка матожидания стационарной случайной последовательности

[ipgmvq]

sqribner48 в сообщении #1583314 писал(а):

Что такое ARMA?

Это ARIMA, где параметр для "I" равен по умолчанию 0.

Кролик в сообщении #1583287 писал(а):

Однако, не для всех комбинаций $p$ и $q$ возможно получить аналитический фид соответствующей автокорреляционной функции.

Вы хотели бы получить оценку этой функции по модели с конкретными p и q (для практических целей) или аналитическая форма АКФ — самоцель?

[Кролик]

Кролик в сообщении #1583287 писал(а):

Действительно, для спектральной функции аппроксимирующего стацинарного процесса $Z_t = \Phi_p^{-1}(L)\Theta_q(L)\varepsilon_t$ всегда может быть указано аналитическое выражение:

$$ S_z(\omega) = \frac{1}{2\pi}\left| \frac{\Theta_q(e^{-i\omega})}{\Phi_p(e^{-i\omega})}\right|^2\;, \qquad \omega\in[-\pi,\, \pi]\; . $$

В этом вероятно состоит преимущество ARMA-модели.

Это всё к тому, что не взирая на то, что явная аналитическая форма для АКФ у ARMA может быть получена только для небольших значений $p$ и $q$, можно в общем оценить асимптотику поведения автокорреляции при больших $n$. В частности, для любого аппроксимирующего процесса ARMA верно, что его АКФ убывает не медленнее, чем геометрическая прогрессия. Это значит, если аппроксимируемый процесс обладает АКФ убывающей медленно (например, как $O(n^{-2})$), то искать оптимальное приближение только среди ARIMA-моделей, вероятно, вообще некорректно. Другими словами, построенные мною чуть выше отдельные контрпримеры, когда "классическая оценка" матожтдания не является оптимальной, возможно могут быть опровергнутыми другими примерами не из класса ARIMA. Мне кажется, тут ещё есть над чем подумать...

Кстати, критика "классической оценки" для дрейфа иксов тема не новая.
[3] Ferebee, Brooks. An unbiased estimator for the drift of a stopped Wiener process. J. Appl. Probab. 20, 94-102 (1983).

[ipgmvq]

Кролик в сообщении #1583907 писал(а):

Это всё к тому

Мотив понятен.

Кролик в сообщении #1583907 писал(а):

Это значит, если аппроксимируемый процесс обладает АКФ убывающей медленно (например, как $O(n^{-2})$), то искать оптимальное приближение только среди ARIMA-моделей, вероятно, вообще некорректно.

Не до конца понял, говорите ли Вы об "эмпирической" АКФ "выборки" или о теоретической АКФ некой произвольной модели ARMA(p,q)...
Теоретическая АКФ для ARMA(0,1) убывает аккурат в ноль уже на втором лаге.

Кролик в сообщении #1583907 писал(а):

Кстати, критика "классической оценки" для дрейфа иксов тема не новая.
[3] Ferebee, Brooks. An unbiased estimator for the drift of a stopped Wiener process. J. Appl. Probab. 20, 94-102 (1983).

Это та самая "классическая оценка", которую Вы давеча называли оценкой для дураков.
Возможно уместно обратить внимание на то, что в отличие от нашей задачи с процессом в дискретном времени, в публикации идет речь о (кумулятивном) процессе в непрерывном времени. И автор в самом начале говорит о том, что оценка (по аналогии с нашей задачей) "последний икс минус первый икс (нулевой в нашем и их случае), деленный на время от начала процесса" (количество шагов в нашем случае) не является несмещенной оценкой дрифта.

Мы в нашей задаче с дискретным временем, ничего не теряя в доступной информации, можем найти разницу между последовательно идущими иксами выбоки и дальше работать со "скоростями", найдя их арифметическое среднее.

А в случае непрерывного во времени процесса подход "раздробить непрерывную выборку на произвольное (выбранное) количество равных временных отрезков, найти их разницу, а потом найти их арифметическое среднее, хоть и даст несмещенную оценку дрифта, но мы очевидно теряем значимую часть информации из этой непрерывной выборки. И дальше автор работает с этим (с выборкой своих непрерывных иксов).

[ipgmvq]

Кролик в сообщении #1583907 писал(а):

то искать оптимальное приближение только среди ARIMA-моделей, вероятно, вообще некорректно

я уверен, что ещё через неделю-две Вы закончите переоткрытие теоремы Волда в отношение стационарности и ARMA(0,$\infty$), но вдруг у Вас есть более важные дела.

[Кролик]

ipgmvq в сообщении #1583917 писал(а):

Кролик в сообщении #1583907 писал(а):

Это значит, если аппроксимируемый процесс обладает АКФ убывающей медленно (например, как $O(n^{-2})$), то искать оптимальное приближение только среди ARIMA-моделей, вероятно, вообще некорректно.

Не до конца понял, говорите ли Вы об "эмпирической" АКФ "выборки" или о теоретической АКФ некой произвольной модели ARMA(p,q)...
Теоретическая АКФ для ARMA(0,1) убывает аккурат в ноль уже на втором лаге.

-- АКФ $K_z(n)$ определяется интегралом на отрезке (3.11) из [2], где аналитический вид для спектральной плотности $S_z(\omega)$ указан мной выше. (Разумеется, в ARMA(p,q) все корни полинома, что в знаменателе, должны лежать вне единичного круга в комплексной плоскости.) Нетрудно показать, что для любых конечных $p$ и $q$ функция $K_z(n)$ будет убывать не медленнее чем геометрическая прогрессия.
-- Меньше можно, больше -- ни, ни!

[ipgmvq]

Кролик
Меня в начале смутила "асимптотика" и я подумал, не говорите ли Вы о выборочной АКФ. Но потом перечитал, скумекал, куда Вы клоните, и написал второй пост.

[Кролик]

ipgmvq в сообщении #1584181 писал(а):

Кролик
Меня в начале смутила "асимптотика" и я подумал, не говорите ли Вы о выборочной АКФ. Но потом перечитал, скумекал, куда Вы клоните, и написал второй пост.

-- Я очень благодарен Вам за обсуждение. Возможно, вещи, о которых я пишу, большинству участников форума очевидны. Мне нет.
В частности из последних сообщений я (как ни пытался смекнуть) не смог понять как минимум две вещи:

• Верно ли, что аппроксимация моделью ARIMA(p,d,q) хороша не для любой случайной последовательности $\{X_n\}$? Если да, то какие статистические тесты существуют для того, чтобы определить, что наша последовательность действительно "дружит" с ARIMA?
• Теорема Вольда говорит о существовании и едиственности разложения любой стационарной случайной последовательности на сумму регулярной и сингулярной части. Однако мне опять не ясно, как вычислить это разложение, если в руках есть только одна конечная реализация $\{v_n\}_{n=0}^N$?

[Евгений Машеров]

Кролик в сообщении #1584307 писал(а):

Верно ли, что аппроксимация моделью ARIMA(p,d,q) хороша не для любой случайной последовательности $\{X_n\}$

Да, в частности, очень интересующие с практической точки зрения "ряды с памятью" плохо описываются. Есть модели ARFIMA, использующие интегрирование дробного порядка.

[ipgmvq]

Кролик в сообщении #1584307 писал(а):

Верно ли, что аппроксимация моделью ARIMA(p,d,q) хороша не для любой случайной последовательности $\{X_n\}$?

Мне кажется, говоря об аппроксимации, мы опять уходим от разговоров о теоретической АКФ в сторону выборочных статистик. Но главное, хотели ли Вы спросить здесь: "Верно ли, что аппроксимация моделью ARIMA(p,0,q) хороша не для любой стационарной случайной последовательности $\{X_n\}$?" Или мы выходим за пределы стационарности? Также допускаете ли Вы уже наличие детерминированных (зависящих от времени) компонентов в последовательности "скоростей" (которые тем не менее не делают процесс нестационарным).
В прошлом явные признаки гетероскедостичности не привели к отказу от ARIMA, как не совсем идеальной модели для временных последовательностей с изменяющейся дисперсией (а соответственно вероятно и меняющейся со временем АКФ).
Почему здесь инженерный подход более требователен?

[Кролик]

ipgmvq в сообщении #1584451 писал(а):

Почему здесь инженерный подход более требователен?

-- Хочется разобраться также и в теории... Вот, например, у меня есть искусственно сгенерированная стационарная случайная последовательность (чисто регулярная!), у которой автокорреляционная функция задаётся выражением:

$$ K_v(n) = \frac{\alpha^2}{\alpha^2 + n^2}\, , \quad n\in Z $$

Причём Вам эта формула неизвестна, а в руки дают только одну достаточно длинную реализацию $\{v_n\}_{n=1}^N$ этой последовательности. Как определить, "дружит" последовательность $\{V_n\}$ с моделями типа ARMA плохо или хорошо?
Скажем, для параметра $\alpha = 10$, много меньше $N$?

[ipgmvq]

Кролик в сообщении #1584510 писал(а):

Как определить, "дружит" последовательность $\{V_n\}$ с моделями типа ARMA плохо или хорошо?

Тестов опубликовано воз и тележка, но посоветовать мне нечего, потому что то, что мне известно, плохо (по сути вообще не) отличает такую временную последовательность даже от AR(1) с большим положительнм AR1 (меньше единицы).
И software реализация этих тестов весьма кустарная.
Как выше написал Евгений Машеров, работая со случайными процессами с очень долгой памятью, можно (по умолчанию) использовать ARFIMA (переходя на ARMA, когда параметр d стат значимо не отличается от нуля), но при наличии в ARMA выраженного компонента AR, в ряде случаев ARFIMA натянет часть его на d. Пересчет оценки матожидания (которая судя по всему в центре Вашего внимания) из оценки intercept (когда он стат значим) при такой двуслойной AR будет особым удовольствием.

А Вам эта аппроксимация нужна для чего именно? Просто описать выборку или всё же для прогнозирования?

[Кролик]

ipgmvq в сообщении #1584661 писал(а):

Кролик в сообщении #1584510 писал(а):

Как определить, "дружит" последовательность $\{V_n\}$ с моделями типа ARMA плохо или хорошо?

Тестов опубликовано воз и тележка, но посоветовать мне нечего, потому что то, что мне известно, плохо (по сути вообще не) отличает такую временную последовательность даже от AR(1) с большим положительнм AR1 (меньше единицы).
И software реализация этих тестов весьма кустарная.

-- Мои дальнейшие эксперименты с реализациями случайных последовательностей "скоростей" $\{V_n\}$ (которые можно скачать по приведённому выше линку) показали, что ARIMA-модель довольно плохо аппроксимирует спектральную плотность "скорости" именно на низких частотах. Таким образом синтез для долгосрочного прогноза будет неверным (или, во всех случаях, довольно низкого качества). Опираться полностью на такие модели с заведомо короткой памятью мне кажется неправильным. Остаётся открытым вопрос, можно ли доверять ARIMA-модели хотя бы для вычисления матожиданий "скоростей", когда $d_x=1$ (соответственно, показателей тренда в тренд-стационарных "иксах", когда $d_x=0$)?

ipgmvq в сообщении #1584661 писал(а):

А Вам эта аппроксимация нужна для чего именно? Просто описать выборку или всё же для прогнозирования?

-- Мне кажется, это не имеет отношения к классическому линейному прогнозированию (см. раздел 4.3 в [2]). Мне необходимо определить по наблюдаемой предыстории процессов зависимость от "времени" матожидания и вторых центральных моментов для всех "иксов" (не "скоростей"!). Включая смешенные моменты между разными "иксами". Зависимость матожидания от времени будет линейной, но точное вычисление угла наклона каждой прямой представляет собой нетривиальную задачу, как мы видели выше. Если $d_x=1$ (есть единичный корень), то при достаточно большом "времени", уходящем в будущее, дисперсия "икса" должна возрастать линейно; если $d_x=0$, то она же должна выходить на константу. Как-то так... но нужны наиболее точные статистические оценки для описанного комплекса показателей.

[ipgmvq]

Кролик в сообщении #1588891 писал(а):

довольно плохо аппроксимирует спектральную плотность "скорости" именно на низких частотах. Таким образом синтез для долгосрочного прогноза будет неверным (или, во всех случаях, довольно низкого качества).

А какого качества может быть прогноз, основанный на допущении о постоянстве дисперсии, для процесса с непостоянной дисперсией (даже на менее отдаленном горизонте)... Перспектива оценки кросс-корреляционного тензора для этого "портфеля" источников "иксов" и "скоростей" выглядит туманной, ибо этого "стационарного" тензора просто может не существовать.

Кролик в сообщении #1588891 писал(а):

Мне кажется, это не имеет отношения к классическому линейному прогнозированию

Классика и линейность меня в принципе не интересовали. Мне хотелось понять, является ли создание прогноза главной целью данного аппроксимации.

[Евгений Машеров]

Кролик в сообщении #1588891 писал(а):

оказали, что ARIMA-модель довольно плохо аппроксимирует спектральную плотность "скорости" именно на низких частотах.

(сорри за подъём темы).
Но, может, это не вопрос выбора оптимального статистического метода, а вопрос о применимости формально-статистических методов вообще?

(Оффтоп)

Милорды, я пришел, чтобы сообщить вам новость: на свете существует род человеческий.
(В. Гюго, "Человек, который смеётся")

Это я в том смысле, что если ВЧ-колебания продукт если не вообще торговых роботов, то,по крайней мере, действий человека по стандартной процедуре, почти автоматической, то низкие частоты могут отражать осмысленные целенаправленные действия достаточно крупных игроков, и рассматривать их с позиции случайных процессов принципиально неверно.