Оценка мат. ожидания суммы если random variables НЕ i.i.d.

[finanzmaster]

По ходу решения задачи (практической, а не учебной) возникла такая проблема:

Пусть

$$ (X)_{i \in I} $$

,

$$ I = 1,...,N $$

- последовательность независимых, но не одинаково распределенных величин.
Точнее, каждый элемент последовательности - это квадрат случайной величины, распеределенной нормально с неизвестными и своими для каждого i параметрами

$$ \mu _{\rm{i}} ,\sigma _i $$

Иными словами: $$ Y_i ~ N{\rm{(}}\mu _{\rm{i}} ,\sigma _i )\; $$

Поставить мы можем только один эксперимент, соответственно для каждого элемента последовательности у нас будет по одной реализации.

Надо доказать (опровергнуть тоже будет неплохо), что

$$ m = {1 \over N}\sum\limits_{i = 1}^N {X_i } $$

есть наилучшая оценка для мат. ожидания суммы, то есть для

$$ IE[\sum\limits_{i = 1}^N {X_i } ] $$

В принципе, задача интересна сама по себе - но я думаю, она достаточно стандартна,
так что изобретать велосипед не хочется.
Если кто сталкивался - поделитесь опытом, пожалуйста!

[PAV]

Только делить на $N$ не надо. В этом случае у Вас есть просто одно наблюдение (суммы) и Вы оцениваете его мат. ожидание им самим. Говорить о "качестве" такой оценки не приходится, тут уж как повезет.

Получить хоть какую оценку качества оценки не получится, разве что если хоть что-то будет известно про связи параметров.

[epros]

PAV совершенно прав, я только хочу добавить, что можно использовать гипотезу равномерности априорного распределения параметров $\mu_i$ и $\sigma_i$ (по всей числовой оси) и попробовать применить формулу Байеса. В результате мы может быть получим некое апостериорное распределение для параметра $\mu_i$, мат. ожидание которого может быть совпадёт с $X_i$. Насколько я помню, для нормального распределения подобный трюк срабатывает, т.е. результат единственного измерения оказывается средне-вероятной апостериорной оценкой мат. ожидания, хотя дисперсию по единственному измерению оценить оказывается невозможно (точнее, средне-вероятная апостериорная оценка дисперсии оказывается бесконечной). Соответственно, оценка мат. ожидания суммы есть сумма оценок мат. ожиданий слагаемых.

[finanzmaster]

PAV, epros, спасибо!
Да, деление на N тут абсолютно ни к чему ... вот что значит взглянуть незамыленным глазом!
Похоже, придется еще поработать над самой постановкой задачи или попробовать уточнить свойства

$$ \mu _i $$

и

$$ \sigma _i $$

[Mikhail Sokolov]

Если мы ничего не знаем о $\mu_i$, то другой несмещенной оценки для суммы $\mu_i$-ых, по-мойму, просто нет.
Например, для случая $N=1$ имеем задачу:
$\mathbf{D}[p(X)]\to min$, при условии $\mathbf{E}[p(X) - \mathbf{E}[X]] = 0$,
где $p$ - искомая статистика (функция от выборочного значения), $\mathbf{D}$ - оператор дисперсии, $X$~$N(\mu,\sigma)$.
Если $\mu$ может принимать любые значения из $R$, то для любого фиксированного $\sigma$ семейство случайных величин $N(\sigma) = \{N(\mu,\sigma),\mu\in R\}$ является полным (см., например, Боровков. Математическая статистика). Это как раз и означает, что из равенства $\mathbf{E}[p(X) - \mathbf{E}[X]] = 0$ для всех $X$~$N(\sigma)}$ следует $p(x) = x$ п.н. для всех $x$ из $R$.

[epros]

Mikhail Sokolov писал(а):

другой несмещенной оценки для суммы $\mu_i$-ых, по-мойму, просто нет.

Приведу более простой пример. Существут две альтернативы: $A$ и $\neg A$. Про вероятности ничего не известно. В единственном испытании $A$ произошло. Можно ли сделать какие-то оценки вероятности $P(A) = p$?

Если принять некие исходные гипотезы, то можно. Например, можно принять гипотезу, что априорное распределение параметра $p$ равномерное по отрезку $[0,1]$. По формуле Байеса нетрудно получить плотность апостериорного распределения параметра $p$:
$p(p|A) = 2 \cdot p$ (исходя из того, что $P(A|p) = p$)

Как теперь перейти от этого распределения к точечной оценке $p$? Здесь возможны разные варианты. Оценка по максимуму вероятности даст $p = 1$ (для нескольких испытаний - отношение количества положительных исходов к количеству испытаний: $p = \frac{k}{N}$). Оценка по мат. ожиданию (средне-вероятная) даст $p = \frac{2}{3}$ (для нескольких испытаний: $p = \frac{k+1}{N+2}$).

Как видите, точечные оценки могут быть разными даже при одинаковых априорных предположениях.

[Mikhail Sokolov]

epros
В предыдущем моем сообщении было важно, что искомая оценка несмещенная. В предложенном вами примере такая оценка также единственна. Действительно, пусть мы наблюдаем одну реализацию бернуллиевской случайной величины с неизвестной вероятностью успеха $p$. Тогда любая наша оценка $p$ (не важно как полученная, в частности, возможно, с использованием байесовского оценивания) это просто два числа $p_0$ и $p_1$, представляющие собой оценки $p$ при условии неудачи и успеха эксперимента, соотвественно.
Несмещенность оценки означает, что
$(1-p)p_0 + pp_1 = p$ для любого $p\in [0,1]$.
Очевидно, это возможно только если $p_0=0$, $p_1=1$.

[epros]

Mikhail Sokolov писал(а):

Несмещенность оценки означает, что
$(1-p)p_0 + pp_1 = p$ для любого $p\in [0,1]$.
Очевидно, это возможно только если $p_0=0$, $p_1=1$.

Я согласен, что $p_0=0$, $p_1=1$ - несмещённая оценка, а $p_0=\frac{1}{3}$, $p_1=\frac{2}{3}$ - это смещённая оценка. Я только хотел сказать, что это не означает, что несмещённая оценка является лучшей. Например, делать вывод из единичного выпадения орла, что выпадение решки имеет нулевую вероятность - это, по-моему, совсем не есть хорошо, - на этом можно очень здорово вляпаться, особенно если стоимость выпадения решки очень велика, а мы на неё наплюём, потому что посчитаем, что "такого практически не может быть".

[Mikhail Sokolov]

Полностью с вами согласен. Тем более, что в оригинальном сообщении автора про несмещенность ничего не говорилось, там просто шла речь о некой загадочной "наилучшей оценке", которой, как известно, (если никак не сужать класс возможных оценок) не существует.

[finanzmaster]

В общем, как оказалось, можно оценивать не ожидание самой суммы, т.е.

$$ {\sum\limits_{i = 1}^N {X_i } } $$

, а среднего арифметического слагаемых, т.е.

$$ {1 \over N}\left[ {\sum\limits_{i = 1}^N {X_i } } \right] $$

А тогда по Теореме Маркова (см. Вентцель, Теорвер, 4е издание, стр. 292)

$$ {1 \over N}\left[ {\sum\limits_{i = 1}^N {X_i } } \right]\buildrel {in\,probability} \over \longrightarrow {1 \over N}\left[ {\sum\limits_{i = 1}^N {IE(X_i )} } \right] $$

Видимо, поэтому у меня в 1-м сообщении и появилось деление на N - в общем, мысль была, но в тумане