Аналог частной ковариации для средних значений

[madschumacher]

Добрый день.
Прошу прощения за очередной глупый вопрос.

Когда у нас имеются две случайные величны $X$ и $Y$, которые как-то зависят от третьей величины $I$, то можно вычислить "исправленную" ковариацию между этими величинами, частную ковариацию (честно говоря я русский термин не знаю, но по английски это partial covariance):
$\mathrm{pcov}(X,Y) = \mathrm{cov}(X,Y) - \frac{\mathrm{cov}(X,I) \cdot \mathrm{cov}(I,Y)}{\mathrm{var}(I)}$
А есть ли способ посчитать средние значения $X$ и $Y$, откуда исключена зависимость от $I$?

Пытался читать учебники по статистике, но математический язык для меня всё больше и больше напоминает китайский. Поэтому надеюсь, что кто-то может по-инженерному дать простой ответ на эту проблемку?

[igor_ivanov]

В Вашей задаче матожидания случайных величин $X$ и $Y$ зависят от $I$?

[madschumacher]

Да.

[igor_ivanov]

Полагаю, имеет смысл считать среднее значение $X$ только при заданных значениях $Y$ и $I$. В частности, можно рассмотреть случай, когда матожидание $I$ равно нулю и матожидание $Y$ тоже чему-то равно. Возможно, это Вам и нужно.

[madschumacher]

igor_ivanov в сообщении #1440819 писал(а):

Возможно, это Вам и нужно.

Нет, это, очевидно, не то, что мне нужно.

[Slav-27]

Может быть, вам нужно условное математическое ожидание $\mathrm E(X|I)$? Это случайная величина. В крайних случаях она ведёт себя следующим образом: она равна $X$, если $X$ есть детерминированная (то есть неслучайная) функция $I$, и равна $\mathrm E(X)$, если $X$ и $I$ независимы.

-- 22.02.2020, 17:41 --

Или, может быть, вам нужна случайная величина $\widehat X(I)=\mathrm E(X)+\dfrac{\mathrm{cov}(X,I)}{\mathrm{var}(I)}(I-\mathrm E(I))$.
С такими обозначениями $\mathrm{pcov}(X,Y|I)=\mathrm{E}\left((X-\widehat X(I))(Y-\widehat Y(I))\right)$.

-- 22.02.2020, 18:13 --

Смысл в этом такой: $E(X|I)$ -- это случайная величина, которая лучше всех приближает $X$ среди детерминированных функций случайной величины $I$. А $\widehat X(I)$ -- это случайная величина, которая лучше всех приближает $X$ среди детерминированных линейных функций от $I$.

[igor_ivanov]

Slav-27

Правильно ли я понимаю, что $E(X)$ и $E(I)$ – выборочные средние, $cov(X, I)$ – выборочный коэффициент ковариации, $var(I)$ – выборочная дисперсия?

И ещё два вопроса. Формула для $\widehat X(I)$ выписана из условия, что величина $X$ зависит от $I$, но не зависит от $Y$? В каком учебнике можно посмотреть вывод этой формулы и примеры её использования?

[arseniiv]

igor_ivanov в сообщении #1440884 писал(а):

Правильно ли я понимаю, что $E(X)$ и $E(I)$ – выборочные средние, $cov(X, I)$ – выборочный коэффициент ковариации, $var(I)$ – выборочная дисперсия?

Зачем выборочные, обычные сойдут, теоретико-вероятностные. И ТС изначально говорит «случайные величины», то есть не задано никаких выборок, чтобы было от чего считать выборочные величины.

А с зависимостью $X$ от $Y$ видимо madschumacher не очень удачно составил вопрос: он привёл в пример ковариацию, которая (обычная) требует двух величин для своего определения, но матожидание-то (обычное) требует одну. Потом в дело входит $I$, но $Y$ от этого в рассмотрении матожидания не появится.

[alisa-lebovski]

Согласна со Slav-27, только поскольку ковариация не зависит от сдвигов, можно взять проще:

$${\tilde X}=X-\dfrac{\mathrm{cov}(X,I)}{\mathrm{var}(I)}I,\quad {\tilde Y}=Y-\dfrac{\mathrm{cov}(Y,I)}{\mathrm{var}(I)}I$$

[igor_ivanov]

arseniiv в сообщении #1440888 писал(а):

Зачем выборочные, обычные сойдут, теоретико-вероятностные... Потом в дело входит $I$, но $Y$ от этого в рассмотрении матожидания не появится.

Получается, что $E(X)$ и $E(I)$ – матожидания, $cov(X, I)$ – теоретическая ковариация, $var(I)$ – генеральная дисперсия, а $X$ зависит только от $I$?

А если теоретико-вероятностные величины неизвестны, а известны их оценки (выборочные средние и т.п.), как тогда рассчитать величину $\widehat X(I)$?

[arseniiv]

igor_ivanov в сообщении #1440897 писал(а):

а $X$ зависит только от $I$?

По-моему, не важно даже чтобы $X$ зависела от $I$, и наоборот нет никакого значение, с какими-ещё величинами $X$ не независима — раз они не появляются нигде.

igor_ivanov в сообщении #1440897 писал(а):

А если теоретико-вероятностные величины неизвестны, а известны их оценки (выборочные средние и т.п.), как тогда рассчитать величину $\widehat X(I)$?

Ну это по идее отдельный вопрос, которого ТС не спрашивал. Вообще же с одной стороны задача простая, с другой сложная. Например нужна ли нам обязательно несмещённая оценка (ср. несмещённую выборочную дисперсию против обычной — и это уже в простом случае дисперсии). С другой стороны если просто заменить все матожидания и дисперсии выборочными аналогами, может вполне получиться то что надо и в сложном случае (но может быть может получиться и ерунда — я в теорвере не разбираюсь на должном уровне). Вот сейчас вам люди разбирающиеся скажут.

[madschumacher]

alisa-lebovski в сообщении #1440893 писал(а):

можно взять проще:

$${\tilde X}=X-\dfrac{\mathrm{cov}(X,I)}{\mathrm{var}(I)}I,\quad {\tilde Y}=Y-\dfrac{\mathrm{cov}(Y,I)}{\mathrm{var}(I)}I$$

Спасибо большое, Slav-27, alisa-lebovski - - это, по ходу, именно то, что я искал.
В связи с этим у меня два уточняющих вопроса:
1. Получается, что pcov работает только для линейной зависимости от $X(I), Y(I) $? Просто в физической литературе эта конструкция представляется как панацея от всего возможного.
2. Есть ли какое-то название у этого выражения для исправленной величины, и куда можно на него сослаться?
Ещё раз спасибо!

[Евгений Машеров]

Ковариация связана с регрессией. А регрессия есть условное математическое ожидание. То есть если мы изучаем ковариации или корреляции двух величин, то неявно работаем с их условными матожиданиями. Ну, а если строим частные ковариации/корреляции - то нас интересует влияние одной величины на условное матожидание другой при том, что зафиксировано значение третьей. Если же просто говорим о матожидании - то исследуемая величина существует сама по себе, безотносительно второй и третьей.
То есть мне постановка задачи представляется бессмысленной. А осмысленная постановка могла бы выглядеть, скажем, так:
Есть величина Y, матожидание которой интересует, и есть основания полагать, что оно зависит от измеряемой нами величины X. Это задача построения регрессии. Но тут появляется ещё и величина I, влияющая как на Y, так и на X. И нам хочется определить влияние той части изменения X, которая не зависит от I. Мы строим регрессии Y на I и X на I, отыскиваем остатки от регрессии, и уже между ними корреляции/ковариации. Применительно к задаче построения оценки матожидания у нас будет регрессия остатка игреков на остаток иксов. Она покажет нам завимость необъяснимой через I части Y от таковой же части X Для известного I и X можно найти оценку необъяснённой через I части X, подставить в полученное уравнение, получить оценку аналогичной части Y, а затем прибавить её к оценке Y через I.
Нужно ли это? Не знаю, если бы меня интересовал прогноз Y по известным X,I - я бы использовал множественную регрессию.

[Slav-27]

madschumacher в сообщении #1440996 писал(а):

2. Есть ли какое-то название у этого выражения для исправленной величины, и куда можно на него сослаться?
Ещё раз спасибо!

$\widehat X(I)$ -- оптимальный линейный прогноз (optimal linear predictor, best linear predictor). Когда его используют, говорят, что применяется модель линейной регрессии (насчёт терминологии я не очень уверен и куда сослаться, не знаю).

madschumacher в сообщении #1440996 писал(а):

1. Получается, что pcov работает только для линейной зависимости от $X(I), Y(I) $? Просто в физической литературе эта конструкция представляется как панацея от всего возможного.

$X$ и $Y$ могут быть 1) условно независимы относительно $I$, 2) иметь нулевую условную корреляцию относительно $I$, 3) иметь нулевую частичную корреляцию относительно $I$. Отношения между этими условиями такие: 1 влечёт 2, а остальные 5 импликаций могут быть неверны (в частности, может быть даже, что $X$ и $Y$ условно независимы относительно $I$, а их частичная корреляция всё-таки ненулевая). Проблема с частичной корреляцией в том, что она рассчитывается через оптимальный линейный прогноз -- но никто не гарантирует, что линейный прогноз будет хорошим, на самом деле он может быть плохим. Однако ж в некоторых случаях он обязательно хороший; например, если откуда-то известно, что совместное распределение $X,Y,I$ нормально, то 1, 2 и 3 равносильны.

С условной корреляцией такой проблемы нет, потому что она считается через настоящий (необязательно линейный) оптимальный прогноз (то есть условное математическое ожидание). Но считать её сложнее.

[madschumacher]

Slav-27, спасибо большое, Вы мне очень помогли.