2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


В этом разделе нельзя создавать новые темы.

Если Вы хотите задать новый вопрос, то не дописывайте его в существующую тему, а создайте новую в корневом разделе "Помогите решить/разобраться (М)".

Если Вы зададите новый вопрос в существующей теме, то в случае нарушения оформления или других правил форума Ваше сообщение и все ответы на него могут быть удалены без предупреждения.

Не ищите на этом форуме халяву, правила запрещают участникам публиковать готовые решения стандартных учебных задач. Автор вопроса обязан привести свои попытки решения и указать конкретные затруднения.

Обязательно просмотрите тему Правила данного раздела, иначе Ваша тема может быть удалена или перемещена в Карантин, а Вы так и не узнаете, почему.



Начать новую тему Ответить на тему
 
 Оценка мат. ожидания суммы если random variables НЕ i.i.d.
Сообщение15.05.2007, 14:06 


07/12/05
240
Питер -> Ulm -> Koeln -> Ulm -> Bretten -> далее везде
По ходу решения задачи (практической, а не учебной) возникла такая проблема:

Пусть $$
(X)_{i \in I} 

$$, $$
I = 1,...,N
$$ - последовательность независимых, но не одинаково распределенных величин.
Точнее, каждый элемент последовательности - это квадрат случайной величины, распеределенной нормально с неизвестными и своими для каждого i параметрами $$
\mu _{\rm{i}} ,\sigma _i 
$$

Иными словами: $$
Y_i ~ N{\rm{(}}\mu _{\rm{i}} ,\sigma _i )\;
$$

Поставить мы можем только один эксперимент, соответственно для каждого элемента последовательности у нас будет по одной реализации.

Надо доказать (опровергнуть тоже будет неплохо), что $$
m = {1 \over N}\sum\limits_{i = 1}^N {X_i } 
$$ есть наилучшая оценка для мат. ожидания суммы, то есть для $$
IE[\sum\limits_{i = 1}^N {X_i } ]
$$

В принципе, задача интересна сама по себе - но я думаю, она достаточно стандартна,
так что изобретать велосипед не хочется.
Если кто сталкивался - поделитесь опытом, пожалуйста!

 Профиль  
                  
 
 
Сообщение15.05.2007, 15:14 
Супермодератор
Аватара пользователя


29/07/05
8248
Москва
Только делить на $N$ не надо. В этом случае у Вас есть просто одно наблюдение (суммы) и Вы оцениваете его мат. ожидание им самим. Говорить о "качестве" такой оценки не приходится, тут уж как повезет.

Получить хоть какую оценку качества оценки не получится, разве что если хоть что-то будет известно про связи параметров.

 Профиль  
                  
 
 
Сообщение15.05.2007, 17:29 
Заслуженный участник
Аватара пользователя


28/09/06
10413
PAV совершенно прав, я только хочу добавить, что можно использовать гипотезу равномерности априорного распределения параметров $\mu_i$ и $\sigma_i$ (по всей числовой оси) и попробовать применить формулу Байеса. В результате мы может быть получим некое апостериорное распределение для параметра $\mu_i$, мат. ожидание которого может быть совпадёт с $X_i$. Насколько я помню, для нормального распределения подобный трюк срабатывает, т.е. результат единственного измерения оказывается средне-вероятной апостериорной оценкой мат. ожидания, хотя дисперсию по единственному измерению оценить оказывается невозможно (точнее, средне-вероятная апостериорная оценка дисперсии оказывается бесконечной). Соответственно, оценка мат. ожидания суммы есть сумма оценок мат. ожиданий слагаемых.

 Профиль  
                  
 
 
Сообщение15.05.2007, 19:51 


07/12/05
240
Питер -> Ulm -> Koeln -> Ulm -> Bretten -> далее везде
PAV, epros, спасибо!
Да, деление на N тут абсолютно ни к чему ... вот что значит взглянуть незамыленным глазом! :)
Похоже, придется еще поработать над самой постановкой задачи или попробовать уточнить свойства $$
\mu _i 
$$ и $$
\sigma _i 
$$

 Профиль  
                  
 
 
Сообщение16.05.2007, 13:07 


10/01/07
285
Санкт-Петербург
Если мы ничего не знаем о $\mu_i$, то другой несмещенной оценки для суммы $\mu_i$-ых, по-мойму, просто нет.
Например, для случая $N=1$ имеем задачу:
$\mathbf{D}[p(X)]\to min$, при условии $\mathbf{E}[p(X) - \mathbf{E}[X]] = 0$,
где $p$ - искомая статистика (функция от выборочного значения), $\mathbf{D}$ - оператор дисперсии, $X$~$N(\mu,\sigma)$.
Если $\mu$ может принимать любые значения из $R$, то для любого фиксированного $\sigma$ семейство случайных величин $N(\sigma) = \{N(\mu,\sigma),\mu\in R\}$ является полным (см., например, Боровков. Математическая статистика). Это как раз и означает, что из равенства $\mathbf{E}[p(X) - \mathbf{E}[X]] = 0$ для всех $X$~$N(\sigma)}$ следует $p(x) = x$ п.н. для всех $x$ из $R$.

 Профиль  
                  
 
 
Сообщение16.05.2007, 13:46 
Заслуженный участник
Аватара пользователя


28/09/06
10413
Mikhail Sokolov писал(а):
другой несмещенной оценки для суммы $\mu_i$-ых, по-мойму, просто нет.


Приведу более простой пример. Существут две альтернативы: $A$ и $\neg A$. Про вероятности ничего не известно. В единственном испытании $A$ произошло. Можно ли сделать какие-то оценки вероятности $P(A) = p$?

Если принять некие исходные гипотезы, то можно. Например, можно принять гипотезу, что априорное распределение параметра $p$ равномерное по отрезку $[0,1]$. По формуле Байеса нетрудно получить плотность апостериорного распределения параметра $p$:
$p(p|A) = 2 \cdot p$ (исходя из того, что $P(A|p) = p$)

Как теперь перейти от этого распределения к точечной оценке $p$? Здесь возможны разные варианты. Оценка по максимуму вероятности даст $p = 1$ (для нескольких испытаний - отношение количества положительных исходов к количеству испытаний: $p = \frac{k}{N}$). Оценка по мат. ожиданию (средне-вероятная) даст $p = \frac{2}{3}$ (для нескольких испытаний: $p = \frac{k+1}{N+2}$).

Как видите, точечные оценки могут быть разными даже при одинаковых априорных предположениях.

 Профиль  
                  
 
 
Сообщение16.05.2007, 15:14 


10/01/07
285
Санкт-Петербург
epros
В предыдущем моем сообщении было важно, что искомая оценка несмещенная. В предложенном вами примере такая оценка также единственна. Действительно, пусть мы наблюдаем одну реализацию бернуллиевской случайной величины с неизвестной вероятностью успеха $p$. Тогда любая наша оценка $p$ (не важно как полученная, в частности, возможно, с использованием байесовского оценивания) это просто два числа $p_0$ и $p_1$, представляющие собой оценки $p$ при условии неудачи и успеха эксперимента, соотвественно.
Несмещенность оценки означает, что
$(1-p)p_0 + pp_1 = p$ для любого $p\in [0,1]$.
Очевидно, это возможно только если $p_0=0$, $p_1=1$.

 Профиль  
                  
 
 
Сообщение16.05.2007, 15:42 
Заслуженный участник
Аватара пользователя


28/09/06
10413
Mikhail Sokolov писал(а):
Несмещенность оценки означает, что
$(1-p)p_0 + pp_1 = p$ для любого $p\in [0,1]$.
Очевидно, это возможно только если $p_0=0$, $p_1=1$.

Я согласен, что $p_0=0$, $p_1=1$ - несмещённая оценка, а $p_0=\frac{1}{3}$, $p_1=\frac{2}{3}$ - это смещённая оценка. Я только хотел сказать, что это не означает, что несмещённая оценка является лучшей. Например, делать вывод из единичного выпадения орла, что выпадение решки имеет нулевую вероятность - это, по-моему, совсем не есть хорошо, - на этом можно очень здорово вляпаться, особенно если стоимость выпадения решки очень велика, а мы на неё наплюём, потому что посчитаем, что "такого практически не может быть".

 Профиль  
                  
 
 
Сообщение16.05.2007, 16:04 


10/01/07
285
Санкт-Петербург
Полностью с вами согласен. Тем более, что в оригинальном сообщении автора про несмещенность ничего не говорилось, там просто шла речь о некой загадочной "наилучшей оценке", которой, как известно, (если никак не сужать класс возможных оценок) не существует.

 Профиль  
                  
 
 
Сообщение20.05.2007, 11:33 


07/12/05
240
Питер -> Ulm -> Koeln -> Ulm -> Bretten -> далее везде
В общем, как оказалось, можно оценивать не ожидание самой суммы, т.е. $$
{\sum\limits_{i = 1}^N {X_i } }
$$, а среднего арифметического слагаемых, т.е. $$
{1 \over N}\left[ {\sum\limits_{i = 1}^N {X_i } } \right]
$$

А тогда по Теореме Маркова (см. Вентцель, Теорвер, 4е издание, стр. 292)
$$
{1 \over N}\left[ {\sum\limits_{i = 1}^N {X_i } } \right]\buildrel {in\,probability} \over
 \longrightarrow {1 \over N}\left[ {\sum\limits_{i = 1}^N {IE(X_i )} } \right]
$$

Видимо, поэтому у меня в 1-м сообщении и появилось деление на N - в общем, мысль была, но в тумане :)

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group