Обобщение корреляции на три величины

[alisa-lebovski]

Известна формула коэффициента корреляции

$$\rho=\frac{EX_1X_2-EX_1EX_2}{\sqrt{DX_1DX_2}},$$

он бывает на отрезке $[-1,1]$, что дает ограничения и на $EX_1X_2$. А что можно сказать про $EX_1X_2X_3$? Известен ли какой-то коэффициент, который выражается через это среднее и отражает зависимость трех величин, и в каких они могут быть границах? Для упрощения задачи, допустим, все величины $X_i$ со значениями на отрезке $[0,1]$ (тогда границы среднего тройного произведения 0 и 1 тривиальны).

[zykov]

Сведите к предыдущему случаю: $E(X_1X_2X_3)=E((X_1X_2)X_3)$.

[ipgmvq]

Если у нас есть случайный вектор
$\begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix}$
то описать одним коэффициентом линейную зависимость $x_1$ от $x_2$ и $x_3$ с одной стороны, $x_2$ от $x_1$ и $x_3$ с другой стороны и $x_3$ от $x_1$ и $x_2$ с третьей вероятно не получится.

Поэтому берут корреляционную матрицу для этого вектора
$\begin{bmatrix} r_{1,1} & r_{1,2} & r_{1,3}\\ r_{2,1} & r_{2,2} & r_{2,3}\\ r_{3,1} & r_{3,2} & r_{3,3} \end{bmatrix}$
И для каждого элемента вектора (на примере первого) находят такой коэффициент:
$r_{1,\ 23} = \sqrt{ \begin{bmatrix} r_{1,2} & r_{1,3}\end{bmatrix} \times \begin{bmatrix} r_{2,2} & r_{2,3}\\ r_{3,2} & r_{3,3} \end{bmatrix}^{-1} \times \begin{bmatrix} r_{1,2} \\ r_{1,3} \end{bmatrix} } $
Это не ограничивается зависимостью одного элемента вектора от двух других. То же для одного от трех и т.д.

[alisa-lebovski]

zykov в сообщении #1584243 писал(а):

Сведите к предыдущему случаю:

Получится что-то сильно несимметричное и громоздкое.

ipgmvq в сообщении #1584246 писал(а):

Если у нас есть случайный вектор

Это я знаю, спасибо. Речь идет об описании более тонкой зависимости, не линейной. Например, три величины могут быть вообще независимы попарно, но зависимы в совокупности, и тройное произведение это может уловить.

[zykov]

alisa-lebovski в сообщении #1584269 писал(а):

Речь идет об описании более тонкой зависимости, не линейной

Ну корреляция - это всё же линейная вещь.
Например, $X$ и $Y$ могут быть нелинейно зависимы, так что $X^2+Y^2=1$ всё время.
$X=\cos \varphi$, $Y=\sin \varphi$, где $\varphi$ равномерно распределено на $[0,2\pi]$.
Корреляция не покажет зависимости.

Если интересует именно нелинейность, то это другие вещи, что-то вроде "машинного обучения".
Если нужно просто анализировать три величины, то лучше делать линейный анализ.
Типичный линейный метод - Principal component analysis.

[alisa-lebovski]

zykov в сообщении #1584282 писал(а):

Ну корреляция - это всё же линейная вещь.

Ладно, я неудачно выразилась. Речь идет о неком показателе зависимости, который не называется корреляцией.

[zykov]

Всё жа надо определиться, линейный это анализ или нелинейный.
Если нелинейный, то там всё сложно. В области Machine Learning (ML) этим занимаются.
(Вот представьте, что все три зависимы, так что лежат на какой-то кривой, но эта кривая - запутанный клубок в кубике 1x1x1.)
Если линейный, то PCA тут достатчно. Для трёхмерной величины из него можно соорудить два коэффициента - степень одномерности и степень двумерности.

[alisa-lebovski]

По-моему, в исходном сообщении все было четко сформулировано. Линейность не предполагается. Тема была о величине $EX_1X_2X_3$. В частности, для независимых в совокупности величин верно $EX_1X_2X_3=EX_1EX_2EX_3$. Если взять $EX_1X_2X_3-EX_1EX_2EX_3$, то будет равно нулю. Иначе оно может быть не равно нулю, даже если попарно величины независимы. Возникает вопрос - можно ли выражение $EX_1X_2X_3-EX_1EX_2EX_3$ поделить на что-то подходящее и получить некий коэффициент, тоже на отрезке $[-1,1]$? Но это вряд ли. Или делать что-то более хитрое, но в конечном счете получить некий коэффициент, отражающий зависимость, в определенных границах? Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?

[ipgmvq]

alisa-lebovski в сообщении #1584296 писал(а):

Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?

Можно вероятно взять и "нормализовать" произведением $((E(X_1-EX_1)^3)^{1/3})((E(X_2-EX_2)^3)^{1/3})((E(X_3-EX_3)^3)^{1/3})$
Однако что за франкенштейн получится у нас, куда будет смещена его выборочная оценка, каким тестом подтвердить, что эта выборочная оценка на самом деле отличается от нуля, и какой от него практический толк, ведь такая зависимость при полном отсутствии попарной зависимости в природе редкость, разве нет?

[manul91]

alisa-lebovski
Вроде есть такой метод, чтобы ухватить степень корелляции/зависимости, можно вычислять дробную (хаусдорфову и т.д.) размерность гиперповерхности на которой лежат тройки $X_1,X_2,X_3$.
В данном случае (трех величин) она будет с нуля до 3 (полная независимость); например если $X_1=f_1(X_3),X_2=f_2(X_3),X_3$ то они будут "ложится" на одномерную кривую (коеффициент получится ~1), если $X_1=f(X_3,X_2),X_2,X_3$ то на двухмерной поверхности (коеффициент получится ~2) и т.д.
https://en.wikipedia.org/wiki/Correlation_dimension

[Евгений Машеров]

Грубоэмпирический подход. Нарезаем интервалы, считаем попадания в ячейки. Проверяем гипотезу, что вероятность попадания в ячейку i по первой переменной, j по второй, k по третьей $P_{ijk}=\frac {n_i m_j q_k} N$
где $n_i$ число попаданий в i-тый интервал первой переменной, аналогично для прочих, N - общее число наблюдений.
Хи-квадрат, скажем.

[alisa-lebovski]

Я думаю, нормализовать лучше так:

$$r=\frac{E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))}{(DX_1DX_2DX_3)^{1/2}},$$

тогда коэффициент инвариантен относительно сдвиго-масштабных преобразований, как и обычный коэффициент корреляции. Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах. Задача сводится к следующей: в каких границах $EX_1X_2X_3$, если $EX_1=EX_2=EX_3=0$ и $DX_1=DX_2=DX_3=1$. Похоже на многомерную задачу вариационного исчисления, но может быть, как-то проще делается?

[zykov]

Внизу степень $\frac12$, а не $\frac32$.

[Евгений Машеров]

Трикорреляция - метод известный, применительно к анализу временных рядов.
$\int _{-\infty }^{\infty }f^{*}(x)f(x+s_{1})f(x+s_{2})dx$
(Звёздочка тут комплексное сопряжение)
Используется наряду с биспектром, преобразованием Фурье от трикорреляции. Для гауссовских случайных процессов смысла не имеет, это для негауссовскости. Есть обобщения и на более высокий порядок.
Практически применяется в обработке сигналов (речевых, изображений, электроэнцефалограмм). В частности, существует прибор "Биспектральный анализатор" для контроля глубины наркоза (но точный алгоритм его работы фирмой-производителем не разглашается, помимо биспектра используются и иные показатели).
В определённом смысле можно сказать, что это характеристика формы сигнала (для той же ЭЭГ практически важно, что волны могут быть и не правильными синусоидами, а заостренными, притуплёнными, аркообразными, комплексами "пик-волна" и т.п.; а на обычном частотном спектре во всех случаях видны две частоты, но не их фазовое соотношение, задающее форму).
Есть ещё такой подход
https://pubmed.ncbi.nlm.nih.gov/26098298/
(полный текст есть на Либгене).
Но там какая-то специфика генетического анализа.
Вообще же использование тройного произведения не всегда даст нужную информацию. Контрпример навскидку.
Случайно выбирается точка на сфере (для определённости центр в нуле, радиус единица).
Исследуемые величины - координаты этой точки X,Y,Z.
Очевидно, матожидание тройного произведения равно нулю.
Но зная две величины, знаем третью с точностью до знака.
В данном случае размерность поверхности, на которой лежат точки - 2. Так что можно какие-то методы оценки размерности использовать, но мой ограниченный опыт показывает, что вычислительные затраты большие, а на реально доступных объёмах выборок точность никакая. Однако это очень частное мнение, вероятно, где-то и заработает.

[zykov]

alisa-lebovski в сообщении #1584371 писал(а):

Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах.

Если все три величины связанны так что просто являются одной и той же величной, то $E[X^3]$ - это третий момент, который не имеет отношения ко второму моменту.
Т.е. может быть что угодно.