Коэффициент Корреляции.

[final_sleep]

Здравствуйте!
Есть задача, не понимаю с чего даже начать:
Найти коэффицент корреляции случайных величин $\xi$ и $\xi^{2}$, где случайная величина $\xi$ распределена: а) по стандартному нормальному закону; б) по показательному закону с параметром $\alpha$.

[profrotter]

final_sleep в сообщении #515950 писал(а):

не понимаю с чего даже начать

Начинайте с ознакомления с теорией и ответьте на вопрос: Что такое коэффициент корреляции и по какой формуле он определяется?

[final_sleep]

Корреляция - статистическая взаимосвязь в нашем случае двух случайных величин. Соответственно коэффициент корреляции это вроде меры этой взаимосвязи.
Формула: $r(\xi,\xi^2)=\frac{M(\xi\xi^2)-M(\xi)M(\xi^2)}{\sqrt{D(\xi)} \cdot \sqrt{D(\xi^2)}}$. Верно?

[profrotter]

final_sleep в сообщении #515956 писал(а):

коэффициент корреляции это вроде меры этой взаимосвязи

Пробуем сравнить две случайные величины $\xi$ и $\eta$ и установить насколько значения одной оказываются близкими к значениям другой. При этом исключаем из их состава детерминированную составляющую - то есть переходим к центрированным величинам $\mathring{\xi}=\xi-M[\xi]$ и $\mathring{\eta}=\eta - M[\eta]$. В качестве интуитивно-понятной меры при сравнении обычно принимают разность сравниваемых чисел. Но у нас не числа, а случайные величины. Соответственно эта разность тоже будет случайной величиной. Дисперсия этой случайной величины будет харктеризовать разброс - чем она меньше, тем [почти наверное] ближе друг к другу значения сравниваемых величин. С учётом свойств дисперсии получим:

$$D[\mathring{\xi}-\mathring{\eta}]=D[\xi]+D[\eta]-2M[\mathring{\xi}\mathring{\eta}]$$

или

$$D[\mathring{\xi}-\mathring{\eta}]=D[\xi]+D[\eta]-2R_{\xi\eta},$$

где $R_{\xi\eta}=M[\mathring{\xi}\mathring{\eta}]$ - корреляционный момент случайных величин $\xi$ и $\eta$. Так как дисперсия всегда пложительна, то из полученного выражения видно, что чем больше значение корреляционного момента - тем меньше дисперсия разности сравниваемых величин, и тем ближе [почти наверное] значения одной случайной величины к другой.
Так как корреляционный момент однозначно связан с дисперсией разности сравниваемых случайных величин, то он может быть принят в качестве альтернативной (и на практике более удобной) меры степени "похожести" одной случайной величины на другую. Однако могут быть случаи, когда значения случайных величин, близкие друг другу по абсолютной величине, отличаются лишь знаком. Чтобы исключить зависимость сравнения случайных велчин от знака это сравнение осуществляют на основе модуля корреляционного момента, для которого выполняется неравенство Коши-Буняковского:

$$|R_{\xi\eta}|\leq\sqrt{D[\xi]D[\eta]}.$$

Тогда удобно ввести нормированную меру - коэффициент корреляции

$$r_{\xi\eta}=\frac {R_{\xi\eta}} {\sqrt{D[\xi]D[\eta]}},$$

$$|r_{\xi\eta}|\leq 1.$$

Примерно так, на мой взгляд, выглядит интуитивное понимание смысла коэффициента корреляции. Я уж потратил время написал много, но, думаю, это себя оправдает, ибо в последнее время на форуме просто корреляционный бум какой-то

final_sleep в сообщении #515956 писал(а):

Формула: $r(\xi,\xi^2)=\frac{M(\xi\xi^2)-M(\xi)M(\xi^2)}{\sqrt{D(\xi)} \cdot \sqrt{D(\xi^2)}}$. Верно?

Стало быть теперь вам надо найти математические ожидания $M[\xi\xi^2]=M[\xi^3]$, $M[\xi]$, $M[\xi^2]$ и дисперсии $D[\xi],D[\xi^2]$, входящие в эту формулу. Смотрим в учебнике раздел "Математическое ожидание и дисперсия функции случайной величины" и находим. Если не находим - пишем на форум.

[ewert]

final_sleep в сообщении #515956 писал(а):

Формула: $r(\xi,\xi^2)=\frac{M(\xi\xi^2)-M(\xi)M(\xi^2)}{\sqrt{D(\xi)} \cdot \sqrt{D(\xi^2)}}$. Верно?

Верно. Откуда для нормального закона (вообще для любого симметричного закона) считать вообще ничего не надо: чему в этом случае равны нечётные моменты в числителе?...

Для показательного закона придётся посчитать, но это не так уж и трудно. Моменты в числителе легко считаются в лоб (а один из них и вовсе должен быть на слуху). В знаменателе же некоторые затруднения может вызвать разве лишь

$D(\xi^2)\equiv M(\xi^4)-M^2(\xi^2),$

но и тут второе слагаемое уже знакомо по числителю, первое же считается также в лоб.

[_hum_]

profrotter в сообщении #516073 писал(а):

чем больше значение корреляционного момента - тем меньше дисперсия разности сравниваемых величин, и тем ближе [почти наверное] значения одной случайной величины к другой.

Наверное [в среднеквадратичном]?

profrotter в сообщении #516073 писал(а):

Примерно так, на мой взгляд, выглядит интуитивное понимание смысла коэффициента корреляции.

Все же "классическая" трактовка этого понятия больше связана с задачей поиска оптимальной в среднеквадратичном смысле линейной оценки одной с.в. по другой.

[final_sleep]

спасибо большое за подробное объяснение, буду работать!

[profrotter]

ewert, замечание за почти полное решение учебной задачи!
_hum_, возражений нет, но можете [при желании] изложить и "классическую" трактовку.

[_hum_]

profrotter в сообщении #516294 писал(а):

_hum_, возражений нет, но можете [при желании] изложить и "классическую" трактовку.

По Ширяеву:
рассмотрим случайные величины (с.в.) $\xi $ и $\eta$. Предположим, что наблюдению подлежит лишь с.в. $ \xi$. Если величины не являются независимыми, то можно ожидать, что знание значений $\xi$ позволит вынести некоторые суждения и о значении ненаблюдаемой величины $\eta$. Всякую функцию $\varphi = \varphi(\xi)$ будем называть оценкой для $\eta$. Будем говорить, что оценка $\varphi^* = \varphi^*(\xi)$ оптимальна в среднеквадратичном смысле, если

$$\mathbf{E}\big( \eta - \varphi^*(\xi)\big)^2 = \inf_{\varphi}\mathbf{E}\big(\eta - \varphi(\xi)\big)^2.$$

Допустим, что мы интересуемся оптимальными только в классе линейных оценок, то есть оценок вида $\varphi(\xi) = a \xi + b$, где $a, b$ -- вещественные параметры. В этом случае легко решить задачу поиска минимума по двум параметрам и прийти к выражению для оптимальной в среднеквадратичном смысле линейной оценки:

$$\varphi^*(\xi) = \frac{\mathbf{cov}(\xi,\eta)}{\mathbf{D}\xi} (\xi - \mathbf{E}\xi) + \mathbf{E}\eta$$

с величиной среднеквадратичной ошибки:

$$\mathbf{E}\big( \eta - \varphi^*(\xi)\big)^2 = \mathbf{D}\eta \big(1 - \rho^2(\xi,\eta)\big),$$

где $\mathbf{cov}(\xi,\eta) $ - ковариация с.в., $\rho(\xi,\eta)$ - коэффициент корреляции.
Отсюда видно, что ковариация определяет коэффицент линейной части оценки - если она положительна, то зависимость прямая (чем больше значения $\xi$, тем они больше и у $\eta$), если нет - обратная. Корреляция определяет величину ошибки оценивания - чем она ближе к единице, тем ошибка меньше.

Как-то так...
А, ну да, обычно подчеркивается, что ковариация/корреляция служит мерой именно линейной зависимости между с.в. и ее равенство нулю еще не говорит о том, что зависимости нет, ибо она может быть нелинейная.

[profrotter]

_hum_ в сообщении #516327 писал(а):

В этом случае легко решить задачу поиска минимума по двум параметрам и прийти к выражению для оптимальной в среднеквадратичном смысле линейной оценки:

Вот видите какую фразу вам пришлось написать. А ведь она делает совсем не простым простое объяснение на пальцах. Между прочим, оценивание частенько оказывается и вовсе за рамками стандартных односеместровых курсов теории вероятности, например, для технических вузов.

[_hum_]

Почему непростым? Решение задачи поиска минимума функции двух переменных известная для каждого студента-"естественника" рутинная процедура (сводящаяся к поиску частных производных и решению системы линейных уравнений). Занимает пару строчек, но мне лень было в ТеХе набирать ("на пальцах", кстати, быстрее и проще :) ). К тому же, речь шла о сути, а суть не страдает от того, что какие-то промежуточные рутинные выкладки опускаются.

[profrotter]

(_hum_)

_hum_ в сообщении #516629 писал(а):

рутинная процедура (сводящаяся к поиску частных производных и решению системы линейных уравнений). Занимает пару строчек, но мне лень было в ТеХе набирать ("на пальцах", кстати, быстрее и проще :) ).

Ну, Вам виднее и ленивее. Спорить не буду.

[ewert]

profrotter в сообщении #516597 писал(а):

А ведь она делает совсем не простым простое объяснение на пальцах.

А и не нужны никакие объяснения на пальцах. Вопрос -- тупо формальный, тупо формально же на него и следует отвечать. Уж для второго случая точно, там размахиваниями руками не обойдёшься.

[profrotter]

ewert в сообщении #516813 писал(а):

А и не нужны никакие объяснения на пальцах.

Это уже вопрос методический.

[final_sleep]

Господа, для нормального закона $M(\xi^3)$ и $M(\xi)$ равны единице, или я ошибаюсь?


А для показательного $M(\xi)=\frac{1}{\lambda}, M(\xi^2)=\frac{1}{\lambda^2},M(\xi)=\frac{1}{\lambda^3}$, а $D(\xi)=\frac{1}{\lambda^2},D(\xi)=\frac{1}{\lambda^4}?
Скорее всего я ошибаюсь, но мало ли.