Формула выборочной ковариации

[give_up]

В определении ковариации двух случайных величин $\mathrm{Cov}(X,Y) = \mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])]$, требуется, чтобы $X$ и $Y$ были заданы на одном и том же измеримом пространстве $(\Omega, \mathcal{F})$.

В матстатистике, насколько мне известно, принято считать, что всякая простая выборка (случайный вектор) является измеримым отображением вида $\mathbf{X}: (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n)) \to (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n))$, причем $\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ (так называемая выборочная модель).

Но тогда мне не очень понятна формула выборочной ковариации

$$\widehat{\mathrm{Cov}}(\mathbf{x},\mathbf{y}) = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})(y_i - \overline{y}), ~~ \forall \mathbf{x}, \mathbf{y} \in \mathbf{R}^n.$$

В формуле для $\mathrm{Cov}(X,Y)$ было требование о том, чтобы $X$ и $Y$ были заданы на одном и том же измеримом пространстве $(\Omega, \mathcal{F})$. Естественным обобщением этого требования на случай вычисления выборочной ковариации является, на мой взгляд, задание случайных векторов (выборок) $\mathbf{X}$ и $\mathbf{Y}$ на одном и том же измеримом выборочном пространстве. Но если их так задать, то получим, что оба этих вектора должны быть измеримыми отображениями $(\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n)) \to (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n))$ и, как обычно в статистике, должно выполняться $\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ и $\mathbf{Y}(\mathbf{y}) = \mathbf{y}, ~ \forall \mathbf{y} \in \mathbf{R}^n$. Но тогда получаем, что для любого фиксированного элементарного исхода $\mathbf{x} \in \mathbf{R}^n$ выполняется $\mathbf{X}(\mathbf{x}) = \mathbf{Y}(\mathbf{x}) = \mathbf{x}$, а это уже какая-то бессмыслица. Где ошибка в моих рассуждениях?

[Slav-27]

Вроде нигде. Почему бессмыслица?

[give_up]

Если записать вышеприведенную формулу для выборочной ковариации через случайные величины, то получим следуюшее:

$$\widehat{\mathrm{Cov}}(\mathbf{X}, \mathbf{Y}) = \frac{1}{n} \sum_{i=1}^n (X_i - \overline{X})(Y_i - \overline{Y}) ~~ \Rightarrow ~~ \widehat{\mathrm{Cov}}(\mathbf{X(\mathbf{x})}, \mathbf{Y}(\mathbf{x})) = \frac{1}{n} \sum_{i=1}^n (X_i(\mathbf{x}) - \overline{X}(\mathbf{x}))(Y_i(\mathbf{x}) - \overline{Y}(\mathbf{x})), ~\forall \mathbf{x}\in \mathbf{R}^n $$

$$\Rightarrow ~~\widehat{\mathrm{Cov}}(\mathbf{x}, \mathbf{x}) = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})(x_i - \overline{x}), ~\forall \mathbf{x}\in \mathbf{R}^n$$

То есть в рамках вышеприведенных предположений о выборках $\mathbf{X}$ и $\mathbf{Y}$ не получается получить формулу для выборочной ковариации $\widehat{\mathrm{Cov}}(\mathbf{x}, \mathbf{y})$, в которой $\mathbf{x} \neq \mathbf{y}$.

[Slav-27]

А, понял, вы путаете случайные величины и их значения. То есть, формально говоря, ошибка здесь:

give_up в сообщении #1522799 писал(а):

$$\widehat{\mathrm{Cov}}(\mathbf{x},\mathbf{y}) = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})(y_i - \overline{y}), ~~ \forall \mathbf{x}, \mathbf{y} \in \mathbf{R}^n.$$

$\mathbf{x,y}$ не из $\mathbb R^n$,а случайные величины со значениями в $\mathbb R^n$.

[give_up]

Slav-27 в сообщении #1522847 писал(а):

А, понял, вы путаете случайные величины и их значения.

Я не путаю, хотя соглашусь, что несколько коряво записал эту формулу (в ней вместо "$\forall \mathbf{x}, \mathbf{y} \in \mathbf{R}^n$" корректнее словами сказать - она выполняется для всех возможных совместных реализаций $\mathbf{x}$ и $\mathbf{y}$ случайных векторов $\mathbf{X}$ и $\mathbf{Y}$ соответственно). Собственно ее можно найти в любом учебнике. Проблема в том, что при высказанных в исходном посте предположениях мне в принципе непонятно, как можно получить такую пару реализаций $(\mathbf{x}, \mathbf{y})$ случайных векторов $(\mathbf{X}, \mathbf{Y})$ соответственно, чтобы выполнялось $\mathbf{x} \neq \mathbf{y}$.

[Slav-27]

Никто ведь не заставляет, чтобы $\mathbf X$ и $\mathbf Y$ были тождественными отображениями $\mathbb R^n$. Допустим, вы хотите изучать связь между ростом человека и длиной большого пальца. Для этого вы отбираете группу из $n$ людей и у всех меряете рост и длину большого пальца. Элементарным исходом $\mathbf a\in\{\text{люди}\}^n$ будет попадание в группу конкретного списка людей, $\mathbf X(\mathbf a)\in\mathbb R^n$ -- вектор, составленный из ростов, $\mathbf Y(\mathbf a)\in\mathbb R^n$ -- вектор, составленный из длин больших пальцев.

Если есть случайная величина $\xi: A\to B$, где $A$ -- множество с сигма-алгеброй $\mathfrak A$ и вероятнстной мерой $\mu$, а $B$ -- множество с сигма-алгеброй $\mathfrak B$, то можно завести на $B$ вероятностную меру $\xi_*\mu$ и забыть про $\mu$ и про $A$. Распределение случайной величины и всё, что к нему относится, сохранится, а связь с "реальным миром" -- с событиями из $A$ -- забудется.

[Евгений Машеров]

А как Вы перешли к

give_up в сообщении #1522799 писал(а):

$\mathbf{X}(\mathbf{x}) = \mathbf{Y}(\mathbf{x}) = \mathbf{x}$

от

give_up в сообщении #1522799 писал(а):

$\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ и $\mathbf{Y}(\mathbf{y}) = \mathbf{y}, ~ \forall \mathbf{y} \in \mathbf{R}^n$.

?

[give_up]

Slav-27 в сообщении #1522853 писал(а):

Никто ведь не заставляет, чтобы $\mathbf X$ и $\mathbf Y$ были тождественными отображениями $\mathbb R^n$.

В теорвере это так. Но в учебниках по статистике, типа книги Боровкова, в самом начале вводят так называемое выборочное вероятностное пространство, на котором как раз и требует тождественности отображения $\mathbf{X}(\mathbf{x}) = \mathbf{x}$ в $\mathbf{R}^n$ (по крайней в задачах, где есть только одна случайная выборка). Это делают с той целью, чтобы имея априори некоторое распределение $P_1$, можно было гарантировать то, что индуцированное распределение $P_{X_i}$ компонент i.i.d. случайного вектора $\mathbf{X}$, заданных на вероятностном пространстве $(\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n), P_1)$, совпадало с $P_1$, то есть выполнялось $P_{X_i}(B) = P_1(X_i \in B), ~~ \forall B \in \mathcal{B}(\mathbf{R}^n)$. Подробнее хорошо написано в этом посте, например. В случае с одновыборочными задачами никаких проблем я в этом не вижу. Но когда задумался о вычислении выборочной ковариации от двух связанных выборок, то при таком их тождественном задании возникли вопросы (в учебниках по статистике никаких пояснений относительно задания вероятностных пространств в двухвыборочных задачах я не нашел).

Евгений Машеров в сообщении #1522864 писал(а):

А как Вы перешли к

give_up в сообщении #1522799 писал(а):

$\mathbf{X}(\mathbf{x}) = \mathbf{Y}(\mathbf{x}) = \mathbf{x}$

от

give_up в сообщении #1522799 писал(а):

$\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ и $\mathbf{Y}(\mathbf{y}) = \mathbf{y}, ~ \forall \mathbf{y} \in \mathbf{R}^n$.

?

Думаю, что это сразу следует из того, что $\mathbf{X}$ и $\mathbf{Y}$ заданы на одном и том же измеримом пространстве как тождественные отображения. То есть если фиксировать элементарный исход в этом пространстве, они должны быть в точности равны этому исходу.

[GAA]

Если $\mathbf X$ из $\mathbf R^n$ в $\mathbf R^n$ и $\mathbf Y$ из $\mathbf R^n$ в $\mathbf R^n$, то что мешает рассматривать $(\mathbf X, \mathbf Y)$ из $\mathbf R^{2n}$ в $\mathbf R^{2n}$?

-- Wed 16.06.2021 09:37:22 --

[Реализация же выборки (набор чисел в эксперименте) — это же $n$-мерный вектор пар $(x_i, y_i)$.]

[Slav-27]

give_up в сообщении #1522883 писал(а):

В теорвере это так. Но в учебниках по статистике, типа книги Боровкова, в самом начале вводят так называемое выборочное вероятностное пространство, на котором как раз и требует тождественности отображения $\mathbf{X}(\mathbf{x}) = \mathbf{x}$ в $\mathbf{R}^n$

Это буквально то, о чём писал и я:

Slav-27 в сообщении #1522853 писал(а):

Если есть случайная величина $\xi: A\to B$, где $A$ -- множество с сигма-алгеброй $\mathfrak A$ и вероятнстной мерой $\mu$, а $B$ -- множество с сигма-алгеброй $\mathfrak B$, то можно завести на $B$ вероятностную меру $\xi_*\mu$ и забыть про $\mu$ и про $A$. Распределение случайной величины и всё, что к нему относится, сохранится, а связь с "реальным миром" -- с событиями из $A$ -- забудется.

Если мы забываем о случайной величине всё, кроме её распределения (т. е. прямого образа меры), то это приводит к потере некоторой информации.

Ваша интерпретация

give_up в сообщении #1522883 писал(а):

Это делают с той целью, чтобы имея априори некоторое распределение $P_1$, можно было гарантировать то, что индуцированное распределение $P_{X_i}$ компонент i.i.d. случайного вектора $\mathbf{X}$, заданных на вероятностном пространстве $(\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n), P_1)$, совпадало с $P_1$, то есть выполнялось $P_{X_i}(B) = P_1(X_i \in B), ~~ \forall B \in \mathcal{B}(\mathbf{R}^n)$.

неверная, по-моему. Переход от случайной величины к её распределению никак не связан с тем, о чём вы пишете. Если была случайная величина $\xi: A\to B$ и мы хотим рассматривать выборки из неё, то мы введём измеримые пространства $A^n$ и $B^n$ и случайную величину $\mathbf X: (a_1,...,a_n)\mapsto (\xi(a_1),...,\xi(a_n))$ ($A^n$ и $B^n$ -- это $n$-кратные произведения множеств, сигма-алгебра на произведении порождена "параллелепипедами" $A_1\times...\times A_n$, где $A_i\subset A$ измеримые, мера на $A^n$ -- произведение: $\mu^n(A_1\times...\times A_n)=\mu(A_1)...\mu(A_n)$, это единственным образом продолжается до меры). Свойство, о котором вы пишете, будет выполнено: случайные величины $\{a_1\}\times...\times\{a_{i-1}\}\times A_i\times\{a_{i+1}\}\times...\times\{a_n\} \to B$, $(..., x, ....)\mapsto X_i(...,x,...)\equiv \xi(x)$ будут независимые и с таким же распределением, как у $\xi$.

Если надо, потом можно взять у этой величины распределение, получится в точности то, о чём вы пишете в цитате выше (по-моему, там не всё формально правильно написано: значение $X_i$ не может принадлежать $B\subset\mathbb R^n$, потому что $X_i$ принимает значения в $\mathbb R$, а $B$ не подмножество $\mathbb R$).

Мне кажется, вас смущает следующий вопрос: есть 2 случайные величины, мы их не знаем, а знаем только распределение, можем ли мы посчитать их ковариацию? Ответ: очевидно, нет. Предположим, есть 2 монеты, и их случайным образом подбрасывают по 10 раз. Типичный элемент множества элементарных событий выглядит так: "1-я монета: ОРРРОРОРОО, 2-я монета: РРРРРРРООО". Мы можем завести на этом пространстве 2 случайные величины со значениями в числах: $\xi$ -- количество орлов при подбрасывании 1-й монеты, $\eta$ -- 2-й монеты. Распределение у них одинаковое (в идеальной ситуации, когда монеты одинаковые и т. д.); при этом ковариация $\xi$ и $\eta$ нулевая (если подбрасывания независимые), а ковариация $\xi$ с самой собой -- дисперсия -- ненулевая.

[give_up]

GAA в сообщении #1522889 писал(а):

Если $\mathbf X$ из $\mathbf R^n$ в $\mathbf R^n$ и $\mathbf Y$ из $\mathbf R^n$ в $\mathbf R^n$, то что мешает рассматривать $(\mathbf X, \mathbf Y)$ из $\mathbf R^{2n}$ в $\mathbf R^{2n}$?

Действительно, вы правы, ничего не мешает. Сейчас еще раз внимательно посмотрел в книгу Боровкова "математическая статистика" и пришел к выводу, что скорее всего делают очень похожую вещь. А именно, вводят измеримое пространство $(\mathbf{R}^{2n}, \mathcal{B}(\mathbf{R}^{2n}))$. Случайные векторы $\mathbf{X}$ и $\mathbf{Y}$ вводят как измеримые отображения $(\mathbf{R}^{2n}, \mathcal{B}(\mathbf{R}^{2n})) \to (\mathbf{R}^{n}, \mathcal{B}(\mathbf{R}^{n}))$ следующим образом: $\mathbf{X}(\omega) = \mathbf{x}, \mathbf{Y}(\omega) = \mathbf{y}, ~~ \forall \omega=(\mathbf{x},\mathbf{y}) \in \mathbf{R}^{2n}$, где $\mathbf{x}, \mathbf{y} \in \mathbf{R}^{n}$. Формально эти случайные векторы окажутся заданными на одном и том же измеримом пространстве, но при этом не совпадают друг с другом как функции. В книге Боровкова "матем. статистика" на с.33 по сути это и написано, только там рассматривается случай, когда случайные векторы $\mathbf{X}$ и $\mathbf{Y}$ независимы друг от друга и одинаково распределены. В контексте ковариации они не являются ни независимыми, ни одинаково распределенными, однако, нам это не важно (так как нигде в выкладках выше вероятностная мера вообще не фигурирует). Как задавать вероятностную меру на $(\mathbf{R}^{2n}, \mathcal{B}(\mathbf{R}^{2n}))$ по заданным распределениям компонент случайных векторов $P_{X_1}$ и $P_{Y_1}$ - отдельный вопрос, на который я пока не знаю ответ (не уверен, что ее можно задать просто как произведение мер из-за того, что случайные векторы $\mathbf{X}$ и $\mathbf{Y}$ являются зависимыми).

Slav-27 в сообщении #1522913 писал(а):

неверная, по-моему. Переход от случайной величины к её распределению никак не связан с тем, о чём вы пишете. Если была случайная величина $\xi: A\to B$ и мы хотим рассматривать выборки из неё

А если нет никакой исходной случайной величины $\xi$? Есть только одномерное распределение $P_1$, например, $\mathcal{N}(0,1)$, больше нет ничего. И хочется ввести случайные величины $X_1, \ldots, X_n$ так, чтобы можно было явно выписать и вероятностное пространство, на котором они определены (domain space), и индуцированное вероятностное пространство (codomain space) для каждой из этих случайных величин, и саму формулу этих случайных величин как измеримых функций. В таком случае (если рассматривается одновыборочная задача) их задают как $X_i(\mathbf{x}) = x_i, ~ \forall \mathbf{x} \in \mathbf{R}^n$. В этом я точно уверен, в книге Боровкова написано и не только в ней. Вы же вводите случайный вектор как измеримую функцию $\mathbf{X}: (a_1, \ldots, a_n) \to (\xi(a_1), \ldots, \xi(a_n))$ через случайную величину $\xi$, про функциональную форму которой ничего не известно (известно лишь ее распределение).

Slav-27 в сообщении #1522913 писал(а):

по-моему, там не всё формально правильно написано: значение $X_i$ не может принадлежать $B\subset\mathbb R^n$, потому что $X_i$ принимает значения в $\mathbb R$, а $B$ не подмножество $\mathbb R$

Да, извиняюсь, я опечатался - там конечно должно быть $\mathcal{B}(\mathbf{R})$, а не $\mathcal{B}(\mathbf{R}^n)$

[Евгений Машеров]

Для начала - в задаче оценки ковариации выборка одна. Двумерной величины, но одна. А x и y это компоненты двумерного вектора. Ну, интересует нас ковариация веса и роста. Какой смысл сделать случайную выборку для измерения веса и другую случайную, в которой меряем рост? Делается выборка людей, и для каждого меряется и то, и то.

[Someone]

give_up в сообщении #1522799 писал(а):

В определении ковариации двух случайных величин $\mathrm{Cov}(X,Y) = \mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])]$, требуется, чтобы $X$ и $Y$ были заданы на одном и том же измеримом пространстве $(\Omega, \mathcal{F})$.

В матстатистике, насколько мне известно, принято считать, что всякая простая выборка (случайный вектор) является измеримым отображением вида $\mathbf{X}: (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n)) \to (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n))$, причем $\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ (так называемая выборочная модель).

Но тогда мне не очень понятна формула выборочной ковариации

$$\widehat{\mathrm{Cov}}(\mathbf{x},\mathbf{y}) = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})(y_i - \overline{y}), ~~ \forall \mathbf{x}, \mathbf{y} \in \mathbf{R}^n.$$

В формуле для $\mathrm{Cov}(X,Y)$ было требование о том, чтобы $X$ и $Y$ были заданы на одном и том же измеримом пространстве $(\Omega, \mathcal{F})$. Естественным обобщением этого требования на случай вычисления выборочной ковариации является, на мой взгляд, задание случайных векторов (выборок) $\mathbf{X}$ и $\mathbf{Y}$ на одном и том же измеримом выборочном пространстве. Но если их так задать, то получим, что оба этих вектора должны быть измеримыми отображениями $(\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n)) \to (\mathbf{R}^n, \mathcal{B}(\mathbf{R}^n))$ и, как обычно в статистике, должно выполняться $\mathbf{X}(\mathbf{x}) = \mathbf{x}, ~ \forall \mathbf{x} \in \mathbf{R}^n$ и $\mathbf{Y}(\mathbf{y}) = \mathbf{y}, ~ \forall \mathbf{y} \in \mathbf{R}^n$. Но тогда получаем, что для любого фиксированного элементарного исхода $\mathbf{x} \in \mathbf{R}^n$ выполняется $\mathbf{X}(\mathbf{x}) = \mathbf{Y}(\mathbf{x}) = \mathbf{x}$, а это уже какая-то бессмыслица. Где ошибка в моих рассуждениях?

Вы неправильно интерпретируете ситуацию. У Вас не две векторные случайные величины, а две скалярные: $X$ и $Y$. Векторной (двумерной) случайной величиной является упорядоченная пара $\mathbf Z=\langle X,Y\rangle\colon \Omega\to\mathbb R^2$, которая определяется как $\mathbf Z(\omega)=\langle X(\omega),Y(\omega)\rangle$ для $\omega\in\Omega$. (Эта конструкция называется диагональным произведением отображений $X\colon\Omega\to\mathbb R$ и $Y\colon\Omega\to\mathbb R$.)
Если Вы хотите перейти к выборочному вероятностному пространству, то для $X$ и $Y$ получатся два разных вероятностных пространства $\langle\Omega_X,\mathfrak F_X,\mathbf P_X\rangle$ и $\langle\Omega_Y,\mathfrak F_Y,\mathbf P_Y\rangle$, при этом полностью потеряется информация о совместном распределении $X$ и $Y$. Поэтому выборочное вероятностное пространство надо строить для двумерной случайной величины $\mathbf Z=\langle X,Y\rangle\colon\Omega\to\mathbb R^2$. Обозначим его $\langle\Omega_{\mathbf Z},\mathfrak F_{\mathbf Z},\mathbf P_{\mathbf Z}\rangle$, где $\Omega_{\mathbf Z}\subseteq\mathbb R^2$ и $\mathbf Z(x,y)=(x,y)$.

Если Вы хотите рассматривать всю выборку объёма $n$ как многомерную случайную величину, то это будет отображение вида $Z^n\colon\Omega_{\mathbf Z}^n\to(\mathbb R^2)^n$ (произведение отображений). Если элементы двумерной выборки независимы, то вероятностная мера на $\Omega_{\mathbf Z}^n$ строится как произведение мер на сомножителях, а в общем случае непонятно, как её определять. К вычислению выборочной корреляции это не имеет отношения.

[give_up]

Someone, спасибо за отличный ответ!

Someone в сообщении #1522925 писал(а):

Если Вы хотите рассматривать всю выборку объёма $n$ как многомерную случайную величину, то это будет отображение вида $Z^n\colon\Omega_{\mathbf Z}^n\to(\mathbb R^2)^n$ (произведение отображений). Если элементы двумерной выборки независимы, то вероятностная мера на $\Omega_{\mathbf Z}^n$ строится как произведение мер на сомножителях, а в общем случае непонятно, как её определять. К вычислению выборочной корреляции это не имеет отношения.

Да, именно это я по сути и пытался описать в своем последнем посте. То есть, если связать с вашими обозначениями, я положил $\Omega_{\mathbf{Z}} = \mathbb{R}^2$, $\Omega_{\mathbf{Z}}^n = \mathbb{R}^{2n}$ и $Z^n(\omega) = (\mathbf{X}(\omega), \mathbf{Y}(\omega)) = \omega, ~~ \forall \omega \in \Omega_{\mathbf{Z}}^n$.

Еще раз на всякий случай разъясню для других читателей, чтобы не было недоразумений:
я рассматриваю реализацию (число) $\widehat{\mathrm{Cov}}(\mathbf{x}, \mathbf{y}) = \frac{1}{n}\sum_{i=1}^n (x_i - \overline{x})(y_i - \overline{y})$ (*) как одну реализацию статистики $\widehat{\mathrm{Cov}}(Z^n) = \widehat{\mathrm{Cov}}(\mathbf{X}, \mathbf{Y}) = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})(Y_i - \overline{Y})$, а не как генерацию $n$ независимых реализаций пары случайных величин $(X,Y)$, которые затем подставляются в формулу (*). Поэтому меня интересует устройство случайной матрицы $Z^n(\omega) = (\mathbf{X}(\omega), \mathbf{Y}(\omega))$ и случайных векторов $\mathbf{X}(\omega)$ и $\mathbf{Y}(\omega)$ как измеримых функций. Ну, собственно, думаю что в своем последнем посте мне удалось это описать, и вроде оно не противоречит тому, что написал Someone.