Последовательность усреднений случайной последовательности

[Кролик]

Пусть дана последовательность независимых случайных величин с одинаковым законом распределния: $X_1, ..., X_n, ...$. Строится последовательность усреднений "с забыванием"

$$ Y_n = a_n\, Y_{n-1} + b_n\, X_{n}\, ,\quad\mbox{где} $$$$ a_n= \frac{1-q^{n-1}}{1-q^n}\, q\, ,\qquad b_n= \frac{1-q}{1-q^n}\, , $$

а величина $q$ характеристика скорости забывания прошлого $(0<q<1)$. При $n$ достаточно больших $Y_n$ близка к нормально распределённой, причём

$$ \sigma(Y_n)= \sigma(X_1)\left(\frac{1-q}{1-q^n}\right)^2\!\sqrt{\frac{1-q^{4n}}{1-q^4}} \;\to\; \sigma(X_1)\,\frac{(1-q)^2}{\sqrt{1-q^4}} $$

Какие ещё свойства последовательности $Y_n$ уже известны? Описана ли она в литературе?

[Кролик]

В последней формуле корректней вместо $\sigma\left[X_1\right]$ писать корень из дисперсии $\sqrt{D\left[X_1\right]}$, т.к. нормальность исходных сучайных величин не предполагается.

[--mS--]

Последовательность имеет весьма простой вид:

$$Y_n = (1-q) \sum_{k=1}^n \dfrac{q^{n-k}}{1-q^n} X_k $$

и маргинальные распределения членов последовательности совпадают с распределениями сумм

$$Z_n = (1-q) \sum_{k=1}^n \dfrac{q^{k-1}}{1-q^n} X_k. $$

Асимптотически нормальной последовательность в общем случае не является ни при каких нормировках. В частности, даже условие Линдеберга для $Z_n$ не выполняется, т.к. суммарная дисперсия не стремится к бесконечности. Кстати, она не такая, как выше, а

$$\mathsf DY_n=\left(\dfrac{1-q}{1-q^n}\right)^2\dfrac{1-q^{2n}}{1-q^2}\mathsf DX_1.$$

.
Предельное распределение у $Y_n$ (или у $Z_n$) есть, оно собственное (например, 2-й том Феллера, гл.VIII, параграф 5), но не нормальное в общем случае. Например, если $X_1$ ограничено с вероятностью единица некоторой константой $C$, то, очевидно, и $|Y_n|\leqslant C$ с вероятностью $1$ при всех $n$. При нормально распределённых иксах - конечно, нормальное.

[Кролик]

Цитата:

Предельное распределение у $Y_n$ (или у $Z_n$) есть, оно собственное (например, 2-й том Феллера, гл.VIII, параграф 5), но не нормальное в общем случае. Например, если $X_1$ ограничено с вероятностью единица некоторой константой $C$, то, очевидно, и $|Y_n|\leqslant C$ с вероятностью $1$ при всех $n$. При нормально распределённых иксах - конечно, нормальное.

— Однако, для $q$ близких к единице предельное распределение $Y_n$ должно напоминать нормальное (с очень малой дисперсией), не так ли?
(За формулу спасибо, я перепроверю.)

[--mS--]

Ни при каком фиксированном $q<1$, сколь угодно близком к единице, распределение нормальным не будет. Например, из-за ограниченности при ограниченных иксах.

[Кролик]

--mS-- в сообщении #843308 писал(а):

Ни при каком фиксированном $q<1$, сколь угодно близком к единице, распределение нормальным не будет. Например, из-за ограниченности при ограниченных иксах.

— Вы прекрасно понимаете, о чём речь. Как ведёт себя квази-нормальное распределение за пределами $3\sigma$ никого в большинстве практических случаев не интересует (в частности, утыкается оно где-то там в ноль или так и нет). Обратите, пожалуйста, внимание, что СКО ведёт себя как $\sim\!\sqrt{1-q}$ при $q$ близких к единице (если считать по Вашей же формуле).

[--mS--]

Да я-то прекрасно понимаю, - жалко, что Вы не понимаете. С.к.о. при $q\to 1$ ведет себя как $\sqrt{\dfrac{1-q}{1+q}}$, и делает оно это только из-за множителя $1-q$ при сходящейся при всяком $q$ сумме случайных величин:

$$Z_n \sim (1-q)\cdot (X_1+qX_2+q^2X_3+\ldots).$$

Эдак Вы из любого распределения нормальное будете делать умножением на убывающую к нулю последовательность чисел.

Если Вы хотите, чтобы $q$ зависело от $n$ и росло к единице одновременно с увеличением числа слагаемых в сумме $Z_n=(1-q_n)\sum\limits_{k=1}^n\dfrac{q_n^{k-1}}{1-q_n^n}X_k$, то это называется "схемой серий", и это совсем иная песня. Нормальное распределение в пределе (после нормировки корнем из суммарной дисперсии) можно ожидать только при определённых скоростях сходимости $q_n$ к единице. Например, если $q_n\sim \exp(-1/\sqrt{n})$, никакого нормального распределения и близко не будет. Общий вид предельного распределения есть, скажем, в Феллере - параграф 7 гл. XVII.

[Кролик]

--mS-- в сообщении #843416 писал(а):

С.к.о. при $q\to 1$ ведет себя как $\sqrt{\dfrac{1-q}{1+q}}$, и делает оно это только из-за множителя $1-q$ при сходящейся при всяком $q$ сумме случайных величин:

$$Z_n \sim (1-q)\cdot (X_1+qX_2+q^2X_3+\ldots).$$

— Поведение последовательности частичных сумм бесконечного ряда зависит от способа выборки членов. Вместо того, что Вы написали (см. в цитате) надо писать:

$$Z_n = \frac{X_n+qX_{n-1}+q^2X_{n-2}+\ldots +q^{n-1}X_1}{1+q+q^2+\ldots +q^{n-1}}\, .$$

(Т.е. постепенно "забываются" первые члены последовательности а не новые.) И где же тут множитель $1-q$?

[Евгений Машеров]

В знаменателе. См. сумму геометрической прогрессии.
В общем, это похоже на давно и с успехом применяемую в технике процедуру экспоненциального сглаживания. Только там коэффициенты принимаются постоянными.

[Кролик]

Евгений Машеров в сообщении #843458 писал(а):

В знаменателе. См. сумму геометрической прогрессии.
В общем, это похоже на давно и с успехом применяемую в технике процедуру экспоненциального сглаживания. Только там коэффициенты принимаются постоянными.

— Точнее, коэффиценты аппроксимируются функцией-ступенькой: сначала постоянные значения, а, начиная с некоторого номера, — ноль. В данном примере коэффиценты убывают плавно, как геометрический ряд.
Однако, в чём же успех применения такого "сглаживания"? — На мой взгляд, решающим является имнно тот факт, что вместо работы с произвольными случайными величинами $X_i$ можно перейти к работе с нормально распределёнными величинами $Y_i$. Именно этот момент кажется --ms-- таким немыслимым.

[Евгений Машеров]

Ещё раз.
Экспоненциальное сглаживание (первого порядка) это
$Y_n=qY_{n-1}+(1-q)X_n$
Это рекуррентное уравнение может быть записано, как
$Y_n=(1-q)X_n+(1-q)qX_{n-1}+(1-q)q^2X_{n-2}+ \cdots +(1-q)q^nX_0$ (принимая $Y_0=0$)
То есть процедура экспоненциального сглаживания получает сумму всех доступных значений с убывающими по геометрической прогрессии весами. Однако она использует вычислительную схему, крайне экономную по операциям (два умножения и сложение на отсчёт), а особенно по памяти (одна ячейка вместо хранения всей последовательности). Поэтому её любят в обработке сигналов (скорее всего, алгоритм DSP в Вашем мобильнике её использует), употребляют и в экономике (в прогнозировании, см книгу Кендэла, а также в биржевой спекуляции, под именем индикатора EMA), и в других приложениях.
Полученная сумма будет "более нормальна", в смысле семиинварианты будут ближе к нулю, чем у исходных, но нормальной не станет даже при бесконечном n (разумеется, если не принимать, что иксы у нас уже нормальны).
У Вас использовано несколько более сложное выражение, с переменными коэффициентами, причём сумма их не равна единице, что приведёт к "дрейфу масштаба", но качественно поведение не изменится. Это будет плохой (в смысле крутизны среза частотной характеристики), но быстрый и доступный фильтр низкой частоты. "Нормализация" будет частичной, даже в пределе у Вас не будут нормально распределённые величины, хотя они будут ближе к нормальным, чем исходные.

[Кролик]

Евгений Машеров в сообщении #843474 писал(а):

Это рекуррентное уравнение может быть записано, как
$Y_n=(1-q)X_n+(1-q)^2X_{n-1}+(1-q)^3X_{n-2}+ \cdots +(1-q)^{n+1}X_0$ (принимая $Y_0=0$)
Полученная сумма будет "более нормальна", в смысле семиинварианты будут ближе к нулю, чем у исходных, но нормальной не станет даже при бесконечном n (разумеется, если не принимать, что иксы у нас уже нормальны).

— Что происходит при бесконечном $n$ волнует только чистых теоретиков. Рассматривая $Y_n$ (в Ваших обозначениях, см. цитату) видно, что распределение будет очень близко к нормальному при достаточно малых $q$. (При Вашем $q=0$ исчезновение семиинвариантов напрямую следует из центральной предельной теоремы.) Почему зависимость предельных семиинвариантов от $q$ должна быть разрывна в нуле?
P.S. Кстати, рекурентное соотношение не соответствует у Вас развёрнутой форме.

[Евгений Машеров]

Вы знаете, я не "чистый теоретик", я "грязный практик". Но использовать переход к бесконечности для упрощения рассуждений приходится.
Кроме того, я советовал бы Вам внимательно проверить свои выкладки, и убедиться, что развёрнутая форма эквивалентна рекуррентной записи, которые я привожу.

(Оффтоп)

Вообще, у меня впечатление, что Вы:
1. Изобретаете велосипед.
2. Велосипед с квадратными колёсами.
3. Не верите, что с круглыми давно ездят.

А выражения для семиинвариантов выпишите сами. Они очень простые.

-- 31 мар 2014, 14:31 --

Да, и "рекуррентное" пишется с двумя "р". Это, разумеется, мелочь, но о чём-то свидетельствует.

[Кролик]

Евгений Машеров в сообщении #843567 писал(а):

Вы знаете, я не "чистый теоретик", я "грязный практик". Но использовать переход к бесконечности для упрощения рассуждений приходится.

— В данном случае переход не обязателен. Близость к нормальности имеется в следующем смысле: Для любого заданного $X_1$ и достаточно большого $n$ можно подобрать параметр $q$ так, что функция распределения $Y_n$ будет уклоняться от некоторой нормальной функции не больше чем на 0,05. Всё.

Евгений Машеров в сообщении #843567 писал(а):

А выражения для семиинвариантов выпишите сами. Они очень простые.

— Зачем же тратить время на собственные выкладки, если всё так просто и уже известно? Назовите, пожалуйста, конкретную литературную ссылку, где подобные супермартингалы описаны. Я буду очень Вам признателен.
А пока, спасибо за терпение.

[Евгений Машеров]

А теперь берём $X_i$ с распределением Коши и ждём, на каком n наступит нормальность...