2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Последовательность усреднений случайной последовательности
Сообщение30.03.2014, 19:50 
Аватара пользователя


07/03/06
128
Пусть дана последовательность независимых случайных величин с одинаковым законом распределния: $X_1, ..., X_n, ...$. Строится последовательность усреднений "с забыванием"
$$
Y_n = a_n\, Y_{n-1} + b_n\, X_{n}\, ,\quad\mbox{где}
$$$$
a_n= \frac{1-q^{n-1}}{1-q^n}\, q\, ,\qquad b_n= \frac{1-q}{1-q^n}\, ,
$$а величина $q$ характеристика скорости забывания прошлого $(0<q<1)$. При $n$ достаточно больших $Y_n$ близка к нормально распределённой, причём
$$
\sigma(Y_n)= \sigma(X_1)\left(\frac{1-q}{1-q^n}\right)^2\!\sqrt{\frac{1-q^{4n}}{1-q^4}} \;\to\; \sigma(X_1)\,\frac{(1-q)^2}{\sqrt{1-q^4}}
$$
Какие ещё свойства последовательности $Y_n$ уже известны? Описана ли она в литературе?

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение30.03.2014, 21:54 
Аватара пользователя


07/03/06
128
В последней формуле корректней вместо $\sigma\left[X_1\right]$ писать корень из дисперсии $\sqrt{D\left[X_1\right]}$, т.к. нормальность исходных сучайных величин не предполагается.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение30.03.2014, 21:55 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Последовательность имеет весьма простой вид:
$$Y_n = (1-q) \sum_{k=1}^n \dfrac{q^{n-k}}{1-q^n} X_k $$
и маргинальные распределения членов последовательности совпадают с распределениями сумм
$$Z_n = (1-q) \sum_{k=1}^n \dfrac{q^{k-1}}{1-q^n} X_k. $$
Асимптотически нормальной последовательность в общем случае не является ни при каких нормировках. В частности, даже условие Линдеберга для $Z_n$ не выполняется, т.к. суммарная дисперсия не стремится к бесконечности. Кстати, она не такая, как выше, а
$$\mathsf DY_n=\left(\dfrac{1-q}{1-q^n}\right)^2\dfrac{1-q^{2n}}{1-q^2}\mathsf DX_1.$$.
Предельное распределение у $Y_n$ (или у $Z_n$) есть, оно собственное (например, 2-й том Феллера, гл.VIII, параграф 5), но не нормальное в общем случае. Например, если $X_1$ ограничено с вероятностью единица некоторой константой $C$, то, очевидно, и $|Y_n|\leqslant C$ с вероятностью $1$ при всех $n$. При нормально распределённых иксах - конечно, нормальное.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение30.03.2014, 22:15 
Аватара пользователя


07/03/06
128
Цитата:
Предельное распределение у $Y_n$ (или у $Z_n$) есть, оно собственное (например, 2-й том Феллера, гл.VIII, параграф 5), но не нормальное в общем случае. Например, если $X_1$ ограничено с вероятностью единица некоторой константой $C$, то, очевидно, и $|Y_n|\leqslant C$ с вероятностью $1$ при всех $n$. При нормально распределённых иксах - конечно, нормальное.

— Однако, для $q$ близких к единице предельное распределение $Y_n$ должно напоминать нормальное (с очень малой дисперсией), не так ли?
(За формулу спасибо, я перепроверю.)

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение30.03.2014, 23:03 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Ни при каком фиксированном $q<1$, сколь угодно близком к единице, распределение нормальным не будет. Например, из-за ограниченности при ограниченных иксах.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 00:25 
Аватара пользователя


07/03/06
128
--mS-- в сообщении #843308 писал(а):
Ни при каком фиксированном $q<1$, сколь угодно близком к единице, распределение нормальным не будет. Например, из-за ограниченности при ограниченных иксах.

— Вы прекрасно понимаете, о чём речь. Как ведёт себя квази-нормальное распределение за пределами $3\sigma$ никого в большинстве практических случаев не интересует (в частности, утыкается оно где-то там в ноль или так и нет). Обратите, пожалуйста, внимание, что СКО ведёт себя как $\sim\!\sqrt{1-q}$ при $q$ близких к единице (если считать по Вашей же формуле).

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 09:29 
Заслуженный участник
Аватара пользователя


23/11/06
4171
Да я-то прекрасно понимаю, - жалко, что Вы не понимаете. С.к.о. при $q\to 1$ ведет себя как $\sqrt{\dfrac{1-q}{1+q}}$, и делает оно это только из-за множителя $1-q$ при сходящейся при всяком $q$ сумме случайных величин:
$$Z_n \sim (1-q)\cdot (X_1+qX_2+q^2X_3+\ldots).$$
Эдак Вы из любого распределения нормальное будете делать умножением на убывающую к нулю последовательность чисел.

Если Вы хотите, чтобы $q$ зависело от $n$ и росло к единице одновременно с увеличением числа слагаемых в сумме $Z_n=(1-q_n)\sum\limits_{k=1}^n\dfrac{q_n^{k-1}}{1-q_n^n}X_k$, то это называется "схемой серий", и это совсем иная песня. Нормальное распределение в пределе (после нормировки корнем из суммарной дисперсии) можно ожидать только при определённых скоростях сходимости $q_n$ к единице. Например, если $q_n\sim \exp(-1/\sqrt{n})$, никакого нормального распределения и близко не будет. Общий вид предельного распределения есть, скажем, в Феллере - параграф 7 гл. XVII.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 11:39 
Аватара пользователя


07/03/06
128
--mS-- в сообщении #843416 писал(а):
С.к.о. при $q\to 1$ ведет себя как $\sqrt{\dfrac{1-q}{1+q}}$, и делает оно это только из-за множителя $1-q$ при сходящейся при всяком $q$ сумме случайных величин:
$$Z_n \sim (1-q)\cdot (X_1+qX_2+q^2X_3+\ldots).$$

— Поведение последовательности частичных сумм бесконечного ряда зависит от способа выборки членов. Вместо того, что Вы написали (см. в цитате) надо писать:
$$Z_n = \frac{X_n+qX_{n-1}+q^2X_{n-2}+\ldots +q^{n-1}X_1}{1+q+q^2+\ldots +q^{n-1}}\, .$$ (Т.е. постепенно "забываются" первые члены последовательности а не новые.) И где же тут множитель $1-q$?

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 11:47 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
В знаменателе. См. сумму геометрической прогрессии.
В общем, это похоже на давно и с успехом применяемую в технике процедуру экспоненциального сглаживания. Только там коэффициенты принимаются постоянными.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 12:03 
Аватара пользователя


07/03/06
128
Евгений Машеров в сообщении #843458 писал(а):
В знаменателе. См. сумму геометрической прогрессии.
В общем, это похоже на давно и с успехом применяемую в технике процедуру экспоненциального сглаживания. Только там коэффициенты принимаются постоянными.

— Точнее, коэффиценты аппроксимируются функцией-ступенькой: сначала постоянные значения, а, начиная с некоторого номера, — ноль. В данном примере коэффиценты убывают плавно, как геометрический ряд.
Однако, в чём же успех применения такого "сглаживания"? — На мой взгляд, решающим является имнно тот факт, что вместо работы с произвольными случайными величинами $X_i$ можно перейти к работе с нормально распределёнными величинами $Y_i$. Именно этот момент кажется --ms-- таким немыслимым.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 12:22 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Ещё раз.
Экспоненциальное сглаживание (первого порядка) это
$Y_n=qY_{n-1}+(1-q)X_n$
Это рекуррентное уравнение может быть записано, как
$Y_n=(1-q)X_n+(1-q)qX_{n-1}+(1-q)q^2X_{n-2}+ \cdots +(1-q)q^nX_0$ (принимая $Y_0=0$)
То есть процедура экспоненциального сглаживания получает сумму всех доступных значений с убывающими по геометрической прогрессии весами. Однако она использует вычислительную схему, крайне экономную по операциям (два умножения и сложение на отсчёт), а особенно по памяти (одна ячейка вместо хранения всей последовательности). Поэтому её любят в обработке сигналов (скорее всего, алгоритм DSP в Вашем мобильнике её использует), употребляют и в экономике (в прогнозировании, см книгу Кендэла, а также в биржевой спекуляции, под именем индикатора EMA), и в других приложениях.
Полученная сумма будет "более нормальна", в смысле семиинварианты будут ближе к нулю, чем у исходных, но нормальной не станет даже при бесконечном n (разумеется, если не принимать, что иксы у нас уже нормальны).
У Вас использовано несколько более сложное выражение, с переменными коэффициентами, причём сумма их не равна единице, что приведёт к "дрейфу масштаба", но качественно поведение не изменится. Это будет плохой (в смысле крутизны среза частотной характеристики), но быстрый и доступный фильтр низкой частоты. "Нормализация" будет частичной, даже в пределе у Вас не будут нормально распределённые величины, хотя они будут ближе к нормальным, чем исходные.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 13:47 
Аватара пользователя


07/03/06
128
Евгений Машеров в сообщении #843474 писал(а):
Это рекуррентное уравнение может быть записано, как
$Y_n=(1-q)X_n+(1-q)^2X_{n-1}+(1-q)^3X_{n-2}+ \cdots +(1-q)^{n+1}X_0$ (принимая $Y_0=0$)
Полученная сумма будет "более нормальна", в смысле семиинварианты будут ближе к нулю, чем у исходных, но нормальной не станет даже при бесконечном n (разумеется, если не принимать, что иксы у нас уже нормальны).

— Что происходит при бесконечном $n$ волнует только чистых теоретиков. Рассматривая $Y_n$ (в Ваших обозначениях, см. цитату) видно, что распределение будет очень близко к нормальному при достаточно малых $q$. (При Вашем $q=0$ исчезновение семиинвариантов напрямую следует из центральной предельной теоремы.) Почему зависимость предельных семиинвариантов от $q$ должна быть разрывна в нуле?
P.S. Кстати, рекурентное соотношение не соответствует у Вас развёрнутой форме. :oops:

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 14:14 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Вы знаете, я не "чистый теоретик", я "грязный практик". Но использовать переход к бесконечности для упрощения рассуждений приходится.
Кроме того, я советовал бы Вам внимательно проверить свои выкладки, и убедиться, что развёрнутая форма эквивалентна рекуррентной записи, которые я привожу.

(Оффтоп)

Вообще, у меня впечатление, что Вы:
1. Изобретаете велосипед.
2. Велосипед с квадратными колёсами.
3. Не верите, что с круглыми давно ездят.

А выражения для семиинвариантов выпишите сами. Они очень простые.

-- 31 мар 2014, 14:31 --

Да, и "рекуррентное" пишется с двумя "р". Это, разумеется, мелочь, но о чём-то свидетельствует.

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 16:22 
Аватара пользователя


07/03/06
128
Евгений Машеров в сообщении #843567 писал(а):
Вы знаете, я не "чистый теоретик", я "грязный практик". Но использовать переход к бесконечности для упрощения рассуждений приходится.

— В данном случае переход не обязателен. Близость к нормальности имеется в следующем смысле: Для любого заданного $X_1$ и достаточно большого $n$ можно подобрать параметр $q$ так, что функция распределения $Y_n$ будет уклоняться от некоторой нормальной функции не больше чем на 0,05. Всё.

Евгений Машеров в сообщении #843567 писал(а):
А выражения для семиинвариантов выпишите сами. Они очень простые.

— Зачем же тратить время на собственные выкладки, если всё так просто и уже известно? Назовите, пожалуйста, конкретную литературную ссылку, где подобные супермартингалы описаны. Я буду очень Вам признателен.
А пока, спасибо за терпение. 8-)

 Профиль  
                  
 
 Re: Последовательность усреднений случайной последовательности
Сообщение31.03.2014, 21:10 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
А теперь берём $X_i$ с распределением Коши и ждём, на каком n наступит нормальность...

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 30 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group