Найти коэффициент корреляции, между двумя величинами

[--mS--]

Gortaur в сообщении #396207 писал(а):

Спасибо, буду знать.

(Оффтоп)

Для меня все равно не очень ясен смысл сего действа, потому что сходимость метода Монте-Карло (да и ЗБЧ) вероятностая, точных границ все равно не будет - так что $N$ или $N-1$ - все равно шарлотанство.

Не понимаю Вашего замечания. Что значит "всё равно не будет", когда они есть с вероятностью 1 для любого $N$?
Выборочный коэффициент корреляции - это коэффициент корреляции координат выборочного (двумерного) распределения. На каждом элементарном исходе (т.е. для любых числовых выборок $(X_1,Y_1),\ldots, (X_N, Y_N)$) это просто коэффициент корреляции двух случайных величин $\xi, \eta$ с дискретным распределением $\mathsf P((\xi, \eta) = (X_i, Y_i))=\frac1N$. И как любой коэффициент корреляции он ограничен по модулю единицей. Возвращаясь к выборкам, имеем

$$ \frac{\overline{XY}-\overline X\cdot\overline Y}{\sqrt{\frac1N\sum(X_i-\overline X)^2\cdot \frac1N\sum(Y_i-\overline Y)^2}} \in [-1, \, 1] \ \text{ п. н.} $$

[ewert]

--mS-- в сообщении #396301 писал(а):

$\text{ п. н.} $

???

[--mS--]

ewert в сообщении #396302 писал(а):

--mS-- в сообщении #396301 писал(а):

$\text{ п. н.} $

???

Почти наверное = almost sure = с вероятностью 1. Общепринятое сокращение.

[ewert]

(Оффтоп)

--mS-- в сообщении #396308 писал(а):

с вероятностью 1. Общепринятое сокращение.

я понимаю, что общепринятое, но смысл его применять -- в данной-то ситуации?...

[--mS--]

ewert в сообщении #396311 писал(а):

я понимаю, что общепринятое, но смысл его применять -- в данной-то ситуации?...[/off]

Ну расшифруйте его себе как "для любого $w$", какая разница-то? Мне (и Gortaur'у, думаю, тоже) вполне хватит для всех случаев жизни неравенства с вероятностью 1, а если мимоходом получилось, что оно верно для всех исходов - это никакого дополнительного смысла для меня не несёт. Не тот случай, когда стоит особо заморачиваться, что там на множестве нулевой вероятности происходит.

[ewert]

(Оффтоп)

--mS-- в сообщении #396313 писал(а):

Не тот случай, когда стоит особо заморачиваться, что там на множестве нулевой вероятности происходит.

я и не заморачиваюсь, просто оговорка насчёт почти всюду в ситуации, когда неравенства выполняются по неким принципиальным причинам, мне показалась несколько нелепо выглядящей, но это дело вкуса

[--mS--]

(Оффтоп)

Вы совершенно правильно заметили нелепость, но это просто привычка. Нет нужды отслеживать, не получили ли мы случайно что-либо большее, чем нам было надо, если в нём нет нужды :)

[Gortaur]

Вы предполагаете равномерное распределение, хотя между прочим не такое уж нулевое событие, что Вы посчитаете корреляция $X$ и $Y$ по 100 значениям, а на следующих 1000 значениях результат будет совсем другой (не зная а приори свойств последовательности Вы не можете утверждать что произойдет и с какой вероятностью). То есть получается, что Вы предполагает что величины равномерно распределены - и утверждаете, что с вероятностью 1 что-то там будет выполнено. Оно будет выполнено, но при условии что Ваша вероятностная мера правильная - а это Вы никак не можете проверить.

[--mS--]

Я не предполагаю никакого равномерного распределения. Я беру определение выборочного распределения как функции из $\Omega\times {\mathfrak B}(\mathbb R^2)$, которая в точности равна

$$\mathsf P_N^*(B)(\omega) = \frac{1}{N}\sum\limits_{i=1}^N I((X_i(\omega),Y_i(\omega)) \in B),$$

где $B\in {\mathfrak B}(\mathbb R^2)$. Эта функция при фиксированном $\omega$ является вероятностной мерой на борелевской сигма-алгебре в $\mathbb R^2$ (а при фиксированном $B$ - случайной величиной). Выше $I(A)$ есть индикаторная функция

$$ I(A)(\omega) = \begin{cases} 1, & \omega \in A, \\ 0, & \omega \not\in A. \end{cases}$$

Фиксируя $\omega=\omega_0\in \Omega$, тем самым фиксируя двумерную выборку $(X_1(\omega_0),Y_1(\omega_0)), \ldots, (X_N(\omega_0),Y_N(\omega_0))$, рассматриваем вероятностную меру на плоскости $\mathsf P_N^*(B)(\omega_0)$. Строим коэффициент корреляции случайных величин с этим двумерным распределением. По определению строим, ковариация делить на корень из произведения дисперсий. Всё. Получаем тот коэффициент корреляции, что выше приведён. Свойства, которые выполнены для любого коэффициента корреляции, выполняются и для этого. Просто потому, что он на каждом элементарном исходе тоже есть коэффициент корреляции.

Не очень понятно мне, зачем такие подробности, если нам известно, что такое выборка и эмпирическое, оно же выборочное, распределение.

(Оффтоп)

На самый худой конец, примените к коэффициенту корреляции неравенство Коши - Буняковского, чтобы убедиться, что при $N$ в знаменателе он меньше единицы по модулю, а иначе - нет.

[Gortaur]

(Оффтоп)

Наверное мы не поняли друг друша. Я согласен, что при использовании $N$ статистический КК будет по модулю не больше 1. Я имел ввиду, что точных границ не будет между реальным коэффициентом корреляции и статистическим. То, что границы $[-1,1]$ верны - я не спорю, прошу прощения если непонятно выразился.

[--mS--]

Gortaur в сообщении #396368 писал(а):

(Оффтоп)

Я имел ввиду, что точных границ не будет между реальным коэффициентом корреляции и статистическим.

(Оффтоп)

Отчего же не будет, точные границы разности одного и другого - от $-2$ до $2$ Не поняла только, при чём тут реальный к.к., ну да ладно.

[Gortaur]

(Оффтоп)

Эти границы можно и до вычисления использовать - все равно что сказать что плюс минус бесконечность Я о том, что к примеру метод Монте-Карло и ЗБЧ используют вероятностные границы сходимости - то есть данные границы малы лишь при условии что мы угадали распределение.

[--mS--]

Gortaur в сообщении #396402 писал(а):

(Оффтоп)

Эти границы можно и до вычисления использовать - все равно что сказать что плюс минус бесконечность Я о том, что к примеру метод Монте-Карло и ЗБЧ используют вероятностные границы сходимости - то есть данные границы малы лишь при условии что мы угадали распределение.

Кажется, этот беспредметный разговор пора заканчивать. Извольте предъявить "вероятностные границы сходимости", о которых говорите. В упор не понимаю ни этих слов, ни что вообще имеется в виду.

[Gortaur]

Добро, заканчиваем, я открою новый топик, потому как данный вопрос меня давно интересовал. Будьте добры там отписаться

[--mS--]

(Оффтоп)

Gortaur в сообщении #396820 писал(а):

Добро, заканчиваем, я открою новый топик, потому как данный вопрос меня давно интересовал. Будьте добры там отписаться

Зависит от того, насколько содержательным будет то, что Вы напишете. Пока повода не вижу.