Мат. статистика

[masterflomaster]

Помогите решить задачу.


Пусть $(x_1, y_1),...,(x_n, y_n)$ - независимая выборка, соответствующая случайному вектору $(\xi,\eta)$, то есть $P\{x_i \leq x, y_i \leq y\} = P\{\xi \leq x, \eta \leq y\}$. Показать, что величина $m = \frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})$, где $\bar{x}, \bar{y}$ - выборочные средние соответствующих выборок, является несмещенной и состоятельной оценкой $cov(\xi, \eta)$.


Решение. Как решать мыслей немного. Вот до чего дошел. Что с состоятельной оценкой делать вообще не знаю.

$cov(\xi, \eta) = M((\xi - M\xi)(\eta - M\eta))$.


Условие несмещенной оценки: $M(m) = m$;

$$ M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}M((x_1 - M\xi)(y_1 - M\eta)) $$

Условие состоятельной оценки: $D(m) \rightarrow 0$ при $n \rightarrow \infty$.

[--mS--]

masterflomaster в сообщении #711230 писал(а):

$$ \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}M((x_1 - M\xi)(y_1 - M\eta)) $$

Это равенство неверно. Раскройте скобки и убедитесь.

masterflomaster в сообщении #711230 писал(а):

Условие состоятельной оценки: $D(m) \rightarrow 0$ при $n \rightarrow \infty$.

Что такое "условие состоятельной оценки"? Состоятельность - некое свойство. У него есть определение. Вы его знаете? А законы больших чисел известны?

[masterflomaster]

Так, я переделал.

Из условия нашей задачи:
$cov(\xi, \eta) = \theta; m = \hat{\theta}$.
Для определения, является ли $m$ несмещенной оценкой, проверим свойство:
$M\hat{\theta} = \theta$, т.е $M(m) = cov(\xi, \eta)$.

Т.к. выборка $(x_1, y_1),...,(x_n, y_n)$ независимая, а вектор $(\xi, \eta)$ случайный, то величины $\xi$ и $\eta$ не зависят друг от друга, следовательно $cov(\xi, \eta) = 0$.

$M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM(x_ky_k - x_k\bar{y} - \bar{x}y_k + \bar{x}\bar{y}) = \frac{1}{n-1}\sum_{k=1}^n(\bar{x}\bar{y} - \bar{x}\bar{y} - \bar{x}\bar{y} + \bar{x}\bar{y}) = 0$.

Свойство выполняется, следовательно $m$ является несмещенной оценкой $cov(\xi, \eta)$.

Для определения, является ли $m$ состоятельной оценкой, проверим свойство:

$P\{|\hat{\theta} - \theta| \geq \varepsilon\} \rightarrow 0$ при $n\rightarrow\infty$, т.е. $P\{|\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})| \geq \varepsilon\} \rightarrow 0$. А данное свойство выполняется, т.к. при увеличении числа элементов выборки, значение $|\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})|$ будет стремиться к 0 из-за множителя $\frac{1}{n-1}$.

Свойство выполняется, следовательно $m$ является состоятельной оценкой $cov(\xi, \eta)$.

[--mS--]

Снова всё неверно.

masterflomaster в сообщении #716632 писал(а):

Т.к. выборка $(x_1, y_1),...,(x_n, y_n)$ независимая, а вектор $(\xi, \eta)$ случайный, то величины $\xi$ и $\eta$ не зависят друг от друга, следовательно $cov(\xi, \eta) = 0$.

Похоже, Вы не понимаете смысла произносимых слов. Есть две зависимые, вообще говоря, случайных величины $\xi$ и $\eta$. Проводится серия независимых наблюдений над этой парой. В результате имеем набор из $n$ независимых между собой пар $(x_1, y_1),\ldots, (x_n, y_n)$. У каждой пары $(x_i,y_i)$ распределение такое же, как у $(\xi,\eta)$. И зависит $x_i$ от $y_i$ точно так же, как $\xi$ от $\eta$ (если зависит).

masterflomaster в сообщении #716632 писал(а):

$\frac{1}{n-1}\sum_{k=1}^nM(x_ky_k - x_k\bar{y} - \bar{x}y_k + \bar{x}\bar{y}) = \frac{1}{n-1}\sum_{k=1}^n(\bar{x}\bar{y} - \bar{x}\bar{y} - \bar{x}\bar{y} + \bar{x}\bar{y})$.

Математическое ожидание случайной величины - число. А в правой части у Вас - случайные величины. Напишите, чему равно и как Вы будете вычислять $M\bar{x}$.

По поводу состоятельности - не смущает, что множитель $\frac{1}{n-1}$ предшествует сумме аж $n^2$ слагаемых? Ваше рассуждение - из серии: $\frac{\sum_{i=1}^n n^3}{n}\to 0$, т.к. на $n$ делится.

Повторить вопрос про законы больших чисел?

[masterflomaster]

Мат.ожидание константы есть сама константа. $\bar{x}$ - константа. Значит $M\bar{x} = \bar{x}$.

Почитав по этой ссылке http://www.nsu.ru/mmf/tvims/chernova/tv/lec/node55.html, вот к чему я пришел:

Несмещенная оценка:

Из линейности математического ожидания получим:

$M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}M(\sum_{k=1}^n\frac{(x_k - \bar{x})(y_k - \bar{y})}{n}) =$

$= \frac{n}{n-1}M((x_1 - \bar{x})(y_1 - \bar{y}))$
(при больших $n$ выражение превращается в $M((x_1 - \bar{x})(y_1 - \bar{y}))$, что очень похоже на
$cov(\xi, \eta) = M((\xi - M\xi)(\eta - M\eta))$, чего мы и добиваемся, только как это применить?).

Состоятельная оценка:

Для определения, является ли $m$ состоятельной оценкой, проверим свойство:

$P\{|\hat{\theta} - \theta| \geq \varepsilon\} \rightarrow 0$ при $n\rightarrow\infty$.

Воспользуемся неравенством Чебышева:
$P\{|\hat{\theta} - \theta| \geq \varepsilon\} \leq \frac{D(\frac{n}{n-1}(\sum_{k=1}^n\frac{(x_k - \bar{x})(y_k - \bar{y})}{n}))}{\varepsilon^2} =\frac{D(\frac{n}{n-1}(\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})))}{n^2\varepsilon^2} =$

$\frac{nD(\frac{n}{n-1}((x_1 - \bar{x})(y_1 - \bar{y})))}{n^2\varepsilon^2} = \frac{D(\frac{n}{n-1}((x_1 - \bar{x})(y_1 - \bar{y})))}{n\varepsilon^2} \rightarrow 0$
при $n\rightarrow\infty$.

[--mS--]

masterflomaster в сообщении #721423 писал(а):

Мат.ожидание константы есть сама константа. $\bar{x}$ - константа. Значит $M\bar{x} = \bar{x}$.

Потрясающе. Вас не смущает, что Вы какие-то матожидания, дисперсии вычисляете от выборочной ковариации и т.п., если элементы выборки у Вас - константы? Начните изучать математическую статистику с начала, с понятия выборки, выборочного среднего, его свойств.

masterflomaster в сообщении #721423 писал(а):

$M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}M(\sum_{k=1}^n\frac{(x_k - \bar{x})(y_k - \bar{y})}{n}) =$

$= \frac{n}{n-1}M((x_1 - \bar{x})(y_1 - \bar{y}))$
(при больших $n$ выражение превращается в $M((x_1 - \bar{x})(y_1 - \bar{y}))$, что очень похоже на
$cov(\xi, \eta) = M((\xi - M\xi)(\eta - M\eta))$, чего мы и добиваемся, только как это применить?).

Оно не может в это "превращаться". Пределы при $n\to\infty$ от $n$ зависеть не может, а это выражение от $n$ зависит. См. к тому же определение несмещённости оценки. Ничего в этом определении про "при больших $n$" и про "превращается" нет. Ещё раз: после того, как выясните, что такое выборочное среднее, расписывайте суммы и честно вычисляйте матожидание.

masterflomaster в сообщении #721423 писал(а):

Состоятельная оценка:

Для определения, является ли $m$ состоятельной оценкой, проверим свойство:

Вы закон больших чисел изучили? Как себя ведёт случайная величина $\overline x$ при $n\to\infty$?

masterflomaster в сообщении #721423 писал(а):

Воспользуемся неравенством Чебышева:

Вы пока не доказали несмещённость. В неравенстве Чебышёва под модулем стоит случайная величина минус её матожидание, а не что попало. До тех пор, пока не будет несмещённости, не будет и неравенства Чебышёва. А когда будет несмещённость, надеюсь, неравенство уже не понадобится.
Вот это равенство также неверно:

masterflomaster в сообщении #721423 писал(а):

$$\ldots \leq \frac{D(\frac{n}{n-1}(\sum_{k=1}^n\frac{(x_k - \bar{x})(y_k - \bar{y})}{n}))}{\varepsilon^2} = \frac{nD(\frac{n}{n-1}((x_1 - \bar{x})(y_1 - \bar{y})))}{n^2\varepsilon^2} $$

Да и ни к чему тут никакие неравенства. Изучите закон больших чисел!

[masterflomaster]

а) Несмещенность оценки.

Из условия нашей задачи: $cov(\xi, \eta) = \theta, m = \hat{\theta}$. Для определения, является ли $m$ несмещенной оценкой, проверим свойство: $M\hat{\theta} = \theta$ т.е $M(m) = cov(\xi, \eta)$. Выразим ковариацию через математическое ожидание и найдем его значение:

$$cov(\xi,\eta) = M((\xi - M(\xi))(\eta - M(\eta))) = M(\xi\eta - \xi M(\eta) - M(\xi)\eta + $$

$$+ M(\xi)M(\eta)) = M(\xi\eta) - M(\xi)M(\eta)$$

Затем найдем математическое ожидание нашей величины $m$ и найдем его значение:

$$M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) =$$

$$= \frac{n}{n-1}M((x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}(M(x_ky_k) -$$

$$- M(x_k)M(\bar{y}) - M(y_k)M(\bar{x}) + M(\bar{y})M(\bar{x}))$$

Теперь воспользуемся свойством выборочного среднего о том, что выборочное среднее есть несмещенная оценка теоретического среднего, т.е $M(\bar{x}) = M(x_k), M(\bar{y}) = M(y_k)$, и то, что при больших $n$ выполняется $\frac{n}{n-1} \approx 1:$

$$\frac{n}{n-1}(M(x_ky_k) - M(x_k)M(\bar{y}) - M(y_k)M(\bar{x}) + M(\bar{y})M(\bar{x})) = $$

$$= M(xy) - M(x)M(y) - M(y)M(x) + M(y)M(x) = M(xy) - M(y)M(x)$$

Условие $M(m) = cov(\xi, \eta)$ выполнилось, следовательно несмещенность оценки доказана.


Состоятельность нужно доказать по свойству:оценки, полученные методом моментов, являются состоятельными.
Но как это сделать, я не представляю (про метод моментов читал).

[Otta]

masterflomaster в сообщении #730264 писал(а):

а) Несмещенность оценки.

$$M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) =$$

$$= \frac{n}{n-1}M((x_k - \bar{x})(y_k - \bar{y})) = \frac{n}{n-1}(M(x_ky_k) -$$

$$- M(x_k)M(\bar{y}) - M(y_k)M(\bar{x}) + M(\bar{y})M(\bar{x}))$$

Так. Я эхом поработаю. Вы все еще не понимаете, что делаете.
Почему у Вас левая (самая левая) часть не зависит от $k$, а правая - зависит? Что такое $k$? чему оно равно?

[masterflomaster]

$k$ - это текущий номер элемента в векторе.
$n$ - это полное число элементов в векторе.
После избавления от знака суммы, перейдем от $x_k$ и $y_k$ к случайным элементам вектора (в моем обозначении к $x$ и $y$). т.е:

$$M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) =$$

$$= \frac{n}{n-1}M((x - \bar{x})(y - \bar{y})) = \frac{n}{n-1}(M(xy) -$$

$$- M(x)M(\bar{y}) - M(y)M(\bar{x}) + M(\bar{y})M(\bar{x}))$$

[Otta]

Нет, не верно.
А давайте начнем с конца. Чему равно $M\bar x$ и $M\bar y$ в вашей последней строке?
И Вы не забыли про условие задачи? Из какого распределения выборка?

[masterflomaster]

Отвечу на предыдущий вопрос: $k = n$ после избавления от знака суммы. Тогда в моих обозначениях $x_n = x$, $y_n = y$.

$$M(m) = M(\frac{1}{n-1}\sum_{k=1}^n(x_k - \bar{x})(y_k - \bar{y})) = \frac{1}{n-1}\sum_{k=1}^nM((x_k - \bar{x})(y_k - \bar{y})) =$$

$$= \frac{n}{n-1}M((x_n - \bar{x})(y_n - \bar{y})) = \frac{n}{n-1}(M(xy) -$$

$$- M(x)M(\bar{y}) - M(y)M(\bar{x}) + M(\bar{y})M(\bar{x}))$$

Теперь новый вопрос.
$M(\bar{x}) = М(x), M(\bar{y}) = M(y)$ по свойству выборочного среднего.

Распределения у $(\xi, \eta)$ и $(x_i, y_i)$ одинаковые.

[Otta]

masterflomaster
Как этот новоявленный $x$, которого по жизни не было, связан с исходным распределением $(\xi,\eta)$?

(Остальное пока все равно не верно.)

Я вот тут, перечитав тему, думаю. Решите вот какую задачу (она Вам все равно пригодится в этой). Но гораздо проще, и все Ваши проблемы проявятся моментально.
Пусть $x_1,\ldots,x_n$ - независимая выборка, соответствующая случайной величине $\xi$, $M\xi =a$.
Доказать, что $\bar x$ является состоятельной и несмещенной оценкой параметра $a$.

[--mS--]

А ещё невредно бы в тех же условиях научиться вычислять $\mathsf M(x_1\cdot \overline x)$. Без этого ничего с выборочной ковариацией сделать невозможно.