Последовательность усреднений случайной последовательности

[--mS--]

Кролик в сообщении #843465 писал(а):

На мой взгляд, решающим является имнно тот факт, что вместо работы с произвольными случайными величинами $X_i$ можно перейти к работе с нормально распределёнными величинами $Y_i$. Именно этот момент кажется --ms-- таким немыслимым.

Да Вы можете сколько угодно считать, что эти величины (почти) нормально распределены, вот только прилюдно эту ересь не надо повторять, и, пожалуйста, ни к чему практическому Ваши дикие домыслы не применяйте, ладно? У нас и так техногенных катастроф хватает. Откройте указанные теоремки в Феллере и почитайте.

Нет, Коши тут ни при чём: чтобы ряд сходился (перенумерованный - почти наверное, исходный - по распределению), необходимо и достаточно существование момента $\mathsf E\ln(1+X_1)$. ТС же требует второго момента, что тоже вполне естественно. Да и контрпримеры выше уже приводились, вот только ТС их понять не может.

[Евгений Машеров]

Да, и из чего следует, что это супермартингал?

[--mS--]

Ещё пять копеек насчёт "становятся более нормальными". Если, например, брать иксы радемахеровскими $\mathsf P(X_i=\pm1)=1/2$, то распределение $Z_n=\sum_{k=1}^n \dfrac{X_k}{2^{k-1}}$ сходится с ростом $n$ к равномерному распределению на отрезке $[-2,\,2]$. Оно, конечно, "более нормально", чем радемахеровское

-- Вт апр 01, 2014 02:25:14 --

Евгений Машеров в сообщении #843843 писал(а):

Да, и из чего следует, что это супермартингал?

При нулевом матожидании - да (и только), легко проверить: $\mathsf E(Y_n~|~\mathcal F_{n-1}) = \dfrac{q+q^2+\ldots+q^{n-1}}{1+q+q^2+\ldots+q^{n-1}}Y_{n-1}\leqslant Y_{n-1}$ п.н., т.е. супермартингал. Чем бы это помогло только

[Евгений Машеров]

Ну, может, ТС берёт $q\neq \frac 1 2$?
И надеется получить не равномерное распределение, а "горбик"?
Но в любом случае это НЧ-фильтр, грубый, но простой и надёжный, и вместо независимых иксов у нас на выходе скоррелированные игреки. Если нам нужен НЧ-фильтр, то "нормализация" в том смысле, что вместо импульсных помех, которые выбросы, у нас будет размазывание по времени, может, и бонус. Но если нас интересует именно нормализация, как самоцель - не слишком ли дорого платить за неё отказом от независимости наблюдений?

[--mS--]

Да автору и равномерное распределение сойдёт за нормальное, с такими-то мерками близости:

Кролик в сообщении #843638 писал(а):

Близость к нормальности имеется в следующем смысле: Для любого заданного $X_1$ и достаточно большого $n$ можно подобрать параметр $q$ так, что функция распределения $Y_n$ будет уклоняться от некоторой нормальной функции не больше чем на 0,05. Всё.

Так, наибольшее расстояние между функцией равномерного распределения на $[-2,\,2]$ и нормальной с параметрами $a=0$, $\sigma=1,2$ уже меньше, чем $0,049$.

А ещё все хорошо знают, что будет при $q =1/3$. А будет канторовская лестница.

[Кролик]

--mS-- в сообщении #843911 писал(а):

А ещё все хорошо знают, что будет при $q =1/3$. А будет канторовская лестница.

— Но $q$ надо брать поближе к единице, я же писал выше. Тогда и дисперсия $Y_n$ будет поменьше, и распределение по форме ближе к нормальному. Вообще, мне даже нравится рассматривать $X_i$, как ограниченные случайные величины; это исключает контрпримеры Машерова (распределения с несуществующей дисперсией). Спасибо за ваши примеры, но они меня пока не переубедили. (Часть из них содержит арифметические несуразицы, типа 0,049.)
Из литературы была посоветована пока только монография: Кендэл М. Временные ряды. М.: Финансы и статистика, 1981 г. 191 с. Правильно я угадал?

[--mS--]

Вы много чего писали выше, но ничего не читали.

Кролик в сообщении #843955 писал(а):

Спасибо за ваши примеры, но они меня пока не переубедили. (Часть из них содержит арифметические несуразицы, типа 0,049.)

Вы что - даже в этом сами убедиться не в состоянии? http://www.wolframalpha.com/input/?i=plot+abs%28%28x%2B2%29%2F4-1%2F2+erfc%28-x%2F%281.2*sqrt%282%29%29%29%29+for+x%3D-2+to+2

[Евгений Машеров]

Кролик в сообщении #843955 писал(а):

--mS-- в сообщении #843911 писал(а):

А ещё все хорошо знают, что будет при $q =1/3$. А будет канторовская лестница.

— Но $q$ надо брать поближе к единице, я же писал выше. Тогда и дисперсия $Y_n$ будет поменьше, и распределение по форме ближе к нормальному. Вообще, мне даже нравится рассматривать $X_i$, как ограниченные случайные величины; это исключает контрпримеры Машерова (распределения с несуществующей дисперсией). Спасибо за ваши примеры, но они меня пока не переубедили. (Часть из них содержит арифметические несуразицы, типа 0,049.)
Из литературы была посоветована пока только монография: Кендэл М. Временные ряды. М.: Финансы и статистика, 1981 г. 191 с. Правильно я угадал?

Рассматривать нормально распределённые случайные величины, как ограниченные, имеет право только товарищ полковник, и только в военное время (см. "Пособие по применению правил стрельбы и управления огнём наземной артиллерии"). Потому, что товарищ полковник знает, что снаряд, лёгший в стороне от цели, это скорее всего криворукость наводчиков, а не свойство распределения, и взгревает командира батареи, не слушая его оправданий, что распределение отклонений нормальное, и теоретически может быть больше 4 Вд.
Вообще же нормальное - оно от плюс до минус бесконечности. И заменять его усечённым нормальным отнюдь не всегда допустимо. Можно нарваться, наподобие тех финансистов, которые опционы продавали перед экспирацией, по 1/16 доллара, поскольку нормальная аппроксимация даёт вероятность больших движений в их случает порядка $10^{-5}$. А потом вдруг цена дёрнулась, и им пришлось за каждый возвращать по $20. В результате 3000 спекулянтских фирм разорились полностью, а, скажем, Голдман Сакс отделался тремя миллиардами убытка. Это я к тому, что распределения с бесконечной дисперсией, да и хотя бы с бесконечными высшими моментами, объект теоретический, но иногда очень хорошо описывающий объекты реальности, где бесконечности в выборке данных не встречаются, но просто очень большие изменения бывают.
Предложенное преобразование достаточно хорошо известно, но именно в качестве НЧ-фильтра в технике (и некоторых иных приложениях обработки сигналов). Плохого в смысле крутизны характеристики, но чрезвычайно простого, устойчивого и быстрого. Специальных монографий по нему я не встречал, тема достаточно частная, ищите либо в пособиях по ЦОС, либо по экономическому прогнозированию (по названию "экспоненциальное сглаживание" или "БИХ-фильтр первого порядка"). В качестве нормализующего его не использует никто. Хотя некий "нормализующий эффект" оно даёт, в смысле нормированные семиинварианты высших порядков получаются ближе к нулю, чем у исходной величины. Скажем, при q=0.9 третий нормированный семиинвариант (асимметрия) составит 0.306 от такового для иксов, а четвёртый (эксцесс) - 0.105. Но платится за это потерей независимости наблюдений. Что для НЧ-фильтра нормально, в пропускаемым им низкочастотных колебаниях соседние отсчёты близки друг к другу, это и ожидалось. Однако в качестве самостоятельного нормализующего преобразования такое малополезно. Мы ожидаем либо независимости отсчётов (для, скажем, статистических тестов), либо обнаружения интересующей нас зависимости (в регрессионном анализе, к примеру). А данный подход подсовывает нам артефактную зависимость, которая либо обесценит нам тесты, либо затенит реальную и важную для нас зависимость данных.

[Кролик]

Евгений Машеров в сообщении #843999 писал(а):

Скажем, при q=0.9 третий нормированный семиинвариант (асимметрия) составит 0.306 от такового для иксов, а четвёртый (эксцесс) - 0.105. Но платится за это потерей независимости наблюдений.

— Спасибо за эксцессы. Надеюсь, семиинварианты величины $Y_n$ более высоких порядков, чем второй, стремяться к нулю асимптотически быстрее, чем $\sqrt{1-q}$? Получается там оценка $\sim\!\!(1-q)^{(s-1)/2}$, где $s$ — порядок семиинварианта?

Открою карты друзьям. Моя цель, посчитать распределение следующей случайной величины (для достаточно больших $n_0$):

$$ \Phi_n=\sum_{l=n_0}^n \max\left\{0,\, Y_l - {\sf M}\left[X_1\right]\right\}\, , $$

зная только исходную дисперсию ${\sf D}[X_1]$, но не зная точного закона распределения $X_1$. Выполнима ли такая задача при $q$, достаточно близких к единице?

[Евгений Машеров]

Полагаю, нет. При любых q. Надо что-то ещё знать о законе распределения. Впрочем, тут более компетентные, чем я, участники, они уточнят (и даже кое-то на эту тему сообщали...)

[Кролик]

Евгений Машеров в сообщении #844089 писал(а):

Полагаю, нет. При любых q. Надо что-то ещё знать о законе распределения.

— Знаем только ${\sf M}[X_1]$ и ${\sf D}[X_1]$ (и что случайные значения ограничены сверху и снизу). Нельзя сказать, что совсем ничего не знаем.

Евгений Машеров в сообщении #844089 писал(а):

Впрочем, тут более компетентные, чем я, участники, они уточнят (и даже кое-то на эту тему сообщали...)

— Честно и долго искал в поисковике форума, но без подсказки хотя бы пары ключевых слов я ничего подходящего не нашёл. А для более компетентного --mS-- (любителя предельной состоятельности) я посчитал (на этот раз правильную) асимптотику нормированных предельных семиинвариантов нашего исходного примера:

$$ \kappa^{\infty}_s=\frac{2^{s/2}\kappa_s[X_1]}{s\,{\sf D}^{s/2}[X_1]}(1-q)^{s/2-1}+o\left((1-q)^{s/2-1}\right)\, ,\quad s=2,3,4,... . $$

[Евгений Машеров]

Либо Вы допускаете бесконечности, и тогда у Вас вполне появляются бесконечные семиинварианты $X_i$, либо Вы работаете только с конечными значениями, собранными в конечного объёма выборки, тогда у Вас семиинварианты конечны, но могут быть велики, а Ваша процедура в ноль коэффициент при них не обращает при любых конечных n.
Вообще же, если Вам нужны условия сходимости к нормальному, Вам следует обратиться к специалисту, прежде всего к --mS--, которая, в отличие от меня, прикладника, иногда применяющего вероятно-статистические методы (и не всегда неудачно), работает именно в области теории вероятности.
Я же, с высоты своего прикладного сапога, сужу о том, что такой подход давно известен и с пользой применим, но совершенно для иных задач, чем "нормализация распределений". Оно конечно, можно и точить отвёрткой взамен стамески, и стамеской винты вкручивать, только закончится это занозами и сорванными шлицами винтов. Посмотреть, как изменится распределение величины после экспоненциального сглаживания, можно и даже полезно, но экспоненциально сглаживать ради "нормализации" - бесперспективно.

[Кролик]

Евгений Машеров в сообщении #844432 писал(а):

Либо Вы допускаете бесконечности, и тогда у Вас вполне появляются бесконечные семиинварианты $X_i$, либо Вы работаете только с конечными значениями, собранными в конечного объёма выборки, тогда у Вас семиинварианты конечны, но могут быть велики, а Ваша процедура в ноль коэффициент при них не обращает при любых конечных n.

— Вот уж не ожидал, что $n$- и $q$-асимптотика экспоненциального сглаживания $Y_n(q)$ вызовет такой детальный интерес на форуме. (По $n$ там будет монотонное и быстрое уменьшение семиинвариантов, но делать и публиковать тут полные выкладки я не намерен.)

Евгений Машеров в сообщении #844432 писал(а):

Вообще же, если Вам нужны условия сходимости к нормальному, Вам следует обратиться к специалисту, прежде всего к --mS--, которая, в отличие от меня, прикладника, иногда применяющего вероятно-статистические методы (и не всегда неудачно), работает именно в области теории вероятности.

— К --mS-- я уже пытался обращаться (даже не зная, что он женщина), но любви с первого взгляда у нас пока не получилось, т.к. кроме теории вероятностей в математике есть ещё много других важных разделов, типа логики (или что-то в этом роде).

(Оффтоп)

Кроме того, есть у нас и принципиальные расхождения по статистике. Уважаемая --mS-- неприемлет несостоятельных оценок параметров случайных распределений, даже если эти оценки на практике оказываются очень близки к тому, что достаточно клиенту. Если бы я был Ротшильд, то, возможно, смог бы оплатить её высококвалифицированную работу, не глядя. Но, к счастью, я не Ротшильд.

Евгений Машеров в сообщении #844432 писал(а):

Посмотреть, как изменится распределение величины после экспоненциального сглаживания, можно и даже полезно, но экспоненциально сглаживать ради "нормализации" - бесперспективно.

— Разумеется, нормализация не сама цель.

[--mS--]

(Оффтоп)

Кролик в сообщении #845027 писал(а):

Если бы я был Ротшильд, то, возможно, смог бы оплатить её высококвалифицированную работу, не глядя. Но, к счастью, я не Ротшильд.

Мало иметь возможность купить. Нужно ещё, чтобы кто-то хотел продать. Хорошо, что Вы не Ротшильд, а то пришлось бы долго недоумевать, отчего желающих не находится.

[Евгений Машеров]

(Оффтоп)

Приходит пациент к психиатру:
- Доктор, со мной почему-то не разговаривают, отворачиваются, не здороваются, никто не соглашается со мной сотрудничать. Может, хоть ты мне поможешь, сволочь лысая?!

-- 04 апр 2014, 09:47 --

Это я к тому, что как-то странно обращаться за помощью, а потом обижаться, что помощь состояла в указании на Ваши ошибки, тем более хамить помогавшим.
Вопрос же о распределении величины после линейных и нелинейных преобразований рассмотрен, в частности, в курсах статистической радиотехники и родственных. Вот, скажем

Цитата:

Малахов А.Н. Кумулянтный анализ случайных негауссовых процессов и их преобразований
М.: Советское радио, 1978. - 376 с.

Есть, например, здесь
http://www.twirpx.com/file/135321/