Тейлоровская аппроксимация моментов случ. величины

[gron]

Добрый день!

Я сейчас разбираюсь с аппроксимацией моментов случайной величины и столкнулся с некоторыми вопросами. Сначала пример.

Допустим мы аппроксимируем матожидание логарифма случайной величины $X$, при этом ее матожидание $\mu$ положительно.
Разложение в ряд Тейлора:

$$\log X = \log\mu + \frac{X - \mu}{\mu} - \frac12 \frac{(X-\mu)^2}{\mu^2} + \frac13 \frac{(X - \mu)^3}{\xi_X^3}$$

Обычно в разных источниках (ну самый банальный Википедия, остальные можно гуглить по taylor approximation of moments of r.v.) люди просто берут матожидание и пишут примерно такое:

$$ \mathbb{E}\log X \approx \log \mu - \frac12 \frac{\sigma^2}{\mu^2} $$

Вопросов два.
1. В каком смысле понимается эта аппроксимация (что куда стремится?). Один из вариантов ответа, который я пока принял за рабочую гипотезу: когда $X$ сходится по вероятности к своему матожиданию.

2. Как правильно оценивать ошибку такой аппроксимации? Например, можно ли, скажем, показать, что

$$ \mathbb{E}\left[\frac{(X - \mu)^3}{\xi_X^3}\right] = o(\sigma^2) $$

Спасибо!

P.S. Если что, аналогичный вопрос запостил на CrossValidated, но, кажется, здесь формулровка более точно отражает мои непонятки. Спасибо.

[Mysterious Light]

Насколько я представляю,

$$\log X = \log\mu + \frac{X - \mu}{\mu} - \frac12 \frac{(X-\mu)^2}{\mu^2} + \alpha(X-\mu) (X-\mu)^2.$$

При этом $\lim\limits_{x\to0}\alpha(x)=0$.
После взятия матожидания

$$\mathbb{E}\log X = \log\mu - \frac12 \frac{\sigma^2}{\mu^2} + \mathbb{E}\alpha(X-\mu)(X-\mu)^2$$

получается, что невязка аппроксимации составляет $\mathbb{E}\alpha(X-\mu)(X-\mu)^2$.
Я думаю, что ничего полезного непосредственно из этого вывести нельзя. Единственное, что разложение говорит о малости, заключается в пределе $\alpha(x)\to0, x\to0$, но при этом эта функция может вести себя сколь угодно безобразно в далеке от своего нуля. В то же время матожидание значит интеграл, а потому хвосты могут сказиться на значении матожидания. ИМХО, следует оценить $\alpha(x)$ при больших $x$ по модулю сверху чем-то и попытаться оценить $\mathbb{E}\alpha(X-\mu)(X-\mu)^2$ сверху функцией от $\sigma$.

[gron]

Mysterious Light в сообщении #765582 писал(а):

ИМХО, следует оценить $\alpha(x)$ при больших $x$ по модулю сверху чем-то и попытаться оценить $\mathbb{E}\alpha(X-\mu)(X-\mu)^2$ сверху функцией от $\sigma$.

Да, совершенно верно, этим я и пытаюсь заниматься. Если разбить прямую на $\varepsilon$-окрестность $\mu$ и "все остальное", то выйдет примерно так:

$$ \int_{x\in N_\varepsilon} p(x) \frac{(x-\mu)^3}{\xi_x^3} \, dx \le c \int_{x\in N_\varepsilon} p(x) (x-\mu)^3 \, dx \le c \varepsilon \int_{x\in N_\varepsilon} p(x) (x-\mu)^2 \, dx = c\varepsilon \sigma^2 $$

это то что надо. А вот вторая часть

$$ \int_{x\notin N_\varepsilon} p(x) \frac{(x-\mu)^3}{\xi_x^3} \, dx $$

не так хороша именно по причине того, что $1/\xi_x^3$ может вести себя как угодно, и надо как-то умно использовать "компенсирующий" факт о том, что $\mathbb{P}(|X-\mu|>\varepsilon) \to 0$.

Вот этого я пока и не понимаю. Там видимо все не так просто...

[_hum_]

gron в сообщении #765561 писал(а):

1. В каком смысле понимается эта аппроксимация (что куда стремится?). Один из вариантов ответа, который я пока принял за рабочую гипотезу: когда $X$ сходится по вероятности к своему матожиданию.

ИМХО.
Как вариант: если имеется последовательность с.в. $\{X_n\}_{n\geq 1}$ и функция $g =g(x)$, то можно пытаться найти условия, при которых справедлива аппроксимация:

$$\mathbf{E}g(X_n) = g(m_n) + \frac{1}{2}g''(m_n)\sigma^2_n + o(\sigma^2_n ), \, n\rightarrow \infty.$$

Тейлоровское разложение дает:

$$g(X_n) \,=\, g(m_n) \,+\, g'(m_n)(X_n - m_n) \,+\, \frac{1}{2}g''(m_n)(X_n - m_n)^2 \,+\,\, \alpha(X_n)(X_n-m_n)^2,$$

(где $\alpha(x) \rightarrow 0, x \rightarrow m_n$). Значит, для получения аппроксимации нужно, чтобы

$$r_n = E\bigg(\alpha(X_n)(X_n-m_n)^2\bigg) = o\Big(E(X_n - m_n)^2\Big), \,n\rightarrow \infty.$$

Возможно, стоит предположить, что $X_n - m_n \overset{w}{\rightarrow} 0$. Тогда отсюда будет вытекать, что $X_n - m_n \overset{P}{\rightarrow} 0$, а значит, по теореме непрерывности, $\alpha(X_n) \overset{P}{\rightarrow} 0$. Ну и как-то это использовать (время позднее, мысли в голову больше не лезут).

gron в сообщении #765561 писал(а):

2. Как правильно оценивать ошибку такой аппроксимации?

Если есть предположения о существовании более высоких абсолютных моментов, то можно попробовать напрямую выписать остаточный член в формуле Тейлора и написать оценку для его матожидания - она и даст точность аппроксимации.

[_hum_]

Нет, как-то смысла я все-таки не вижу в таких аппроксимациях. Уже в простейших случаях получается, что $ r_n = C\cdot\mathbf{E}\big|X_n - m_n\big|^3$. То есть, для получения нужной аппроксимации потребуется, чтобы третьи моменты были по порядку меньше чем вторые, тогда как в мало-мальски интересных случаях, насколько я знаю, нет никакой возможности оценки моментов высокого порядка по моментам нижнего. Так что, либо во всех указанных ссылках используется приближенный знак равно в варианте

$$\mathbf{E}g(X_n) = g(m_n) + \frac{1}{2}g''(m_n)\sigma^2_n + o(1), \, n\rightarrow \infty,$$

(что достаточно бессмысленно, ибо невязка по порядку может оказаться превосходящей основные члены приближения), либо для каких-то слишком уж частных случаев.

П.С. Кстати, погуглив, так и не нашел серьезной литературы, где бы такой подход рассматривался (дельта-метод есть, а вот приближений моментов нет).

[Mikhail Sokolov]

Если записать остаточный член в разложении Тейлора в форме Лагранжа и предположить, что
1) носитель случайной величины ограничен,
2) производная $g$ (того порядка, какого нужна в остаточном члене) ограничена на носителе,
то появляется возможность оценить сверху ошибку аппроксимации...

[_hum_]

Mikhail Sokolov в сообщении #766339 писал(а):

Если записать остаточный член в разложении Тейлора в форме Лагранжа и предположить, что
1) носитель случайной величины ограничен,
2) производная $g$ (того порядка, какого нужна в остаточном члене) ограничена на носителе,
то появляется возможность оценить сверху ошибку аппроксимации...

Вы точно имели в виду ограниченность носителя, а не самой случайной величины? Ведь в ваших условиях можно получить с.в. $ \xi$ с любым наперед заданным распределением - достаточно взять $\Omega = [0,1], \mathbf{P}(d\omega) = d\omega, \xi(\omega) = \bar F^{-1}(\omega)$.

[Mikhail Sokolov]

Спасибо за уточнение. Конечно, имелся в виду носитель распределения случайной величины - наименьшее замкнутое множество, дополнение которого имеет меру нуль.

[_hum_]

А, так этот вариант не представляет существенного интереса для практики.