2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Обобщение корреляции на три величины
Сообщение04.03.2023, 13:27 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
Известна формула коэффициента корреляции
$$\rho=\frac{EX_1X_2-EX_1EX_2}{\sqrt{DX_1DX_2}},$$
он бывает на отрезке $[-1,1]$, что дает ограничения и на $EX_1X_2$. А что можно сказать про $EX_1X_2X_3$? Известен ли какой-то коэффициент, который выражается через это среднее и отражает зависимость трех величин, и в каких они могут быть границах? Для упрощения задачи, допустим, все величины $X_i$ со значениями на отрезке $[0,1]$ (тогда границы среднего тройного произведения 0 и 1 тривиальны).

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 13:34 


18/09/21
1676
Сведите к предыдущему случаю: $E(X_1X_2X_3)=E((X_1X_2)X_3)$.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 14:28 


27/06/20
337
Если у нас есть случайный вектор
$\begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix}$
то описать одним коэффициентом линейную зависимость $x_1$ от $x_2$ и $x_3$ с одной стороны, $x_2$ от $x_1$ и $x_3$ с другой стороны и $x_3$ от $x_1$ и $x_2$ с третьей вероятно не получится.

Поэтому берут корреляционную матрицу для этого вектора
$\begin{bmatrix}
r_{1,1} & r_{1,2} & r_{1,3}\\
r_{2,1} & r_{2,2} & r_{2,3}\\
r_{3,1} & r_{3,2} & r_{3,3}
\end{bmatrix}$
И для каждого элемента вектора (на примере первого) находят такой коэффициент:
$r_{1,\ 23} = \sqrt{ \begin{bmatrix}
r_{1,2} & r_{1,3}\end{bmatrix}  \times \begin{bmatrix}
r_{2,2} & r_{2,3}\\
r_{3,2} & r_{3,3}
\end{bmatrix}^{-1} \times
\begin{bmatrix}
r_{1,2} \\
r_{1,3}
\end{bmatrix} } $
Это не ограничивается зависимостью одного элемента вектора от двух других. То же для одного от трех и т.д.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 17:28 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
zykov в сообщении #1584243 писал(а):
Сведите к предыдущему случаю:
Получится что-то сильно несимметричное и громоздкое.
ipgmvq в сообщении #1584246 писал(а):
Если у нас есть случайный вектор
Это я знаю, спасибо. Речь идет об описании более тонкой зависимости, не линейной. Например, три величины могут быть вообще независимы попарно, но зависимы в совокупности, и тройное произведение это может уловить.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:24 


18/09/21
1676
alisa-lebovski в сообщении #1584269 писал(а):
Речь идет об описании более тонкой зависимости, не линейной
Ну корреляция - это всё же линейная вещь.
Например, $X$ и $Y$ могут быть нелинейно зависимы, так что $X^2+Y^2=1$ всё время.
$X=\cos \varphi$, $Y=\sin \varphi$, где $\varphi$ равномерно распределено на $[0,2\pi]$.
Корреляция не покажет зависимости.

Если интересует именно нелинейность, то это другие вещи, что-то вроде "машинного обучения".
Если нужно просто анализировать три величины, то лучше делать линейный анализ.
Типичный линейный метод - Principal component analysis.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:37 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
zykov в сообщении #1584282 писал(а):
Ну корреляция - это всё же линейная вещь.
Ладно, я неудачно выразилась. Речь идет о неком показателе зависимости, который не называется корреляцией.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:48 


18/09/21
1676
Всё жа надо определиться, линейный это анализ или нелинейный.
Если нелинейный, то там всё сложно. В области Machine Learning (ML) этим занимаются.
(Вот представьте, что все три зависимы, так что лежат на какой-то кривой, но эта кривая - запутанный клубок в кубике 1x1x1.)
Если линейный, то PCA тут достатчно. Для трёхмерной величины из него можно соорудить два коэффициента - степень одномерности и степень двумерности.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 19:12 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
По-моему, в исходном сообщении все было четко сформулировано. Линейность не предполагается. Тема была о величине $EX_1X_2X_3$. В частности, для независимых в совокупности величин верно $EX_1X_2X_3=EX_1EX_2EX_3$. Если взять $EX_1X_2X_3-EX_1EX_2EX_3$, то будет равно нулю. Иначе оно может быть не равно нулю, даже если попарно величины независимы. Возникает вопрос - можно ли выражение $EX_1X_2X_3-EX_1EX_2EX_3$ поделить на что-то подходящее и получить некий коэффициент, тоже на отрезке $[-1,1]$? Но это вряд ли. Или делать что-то более хитрое, но в конечном счете получить некий коэффициент, отражающий зависимость, в определенных границах? Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 01:47 


27/06/20
337
alisa-lebovski в сообщении #1584296 писал(а):
Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?
Можно вероятно взять и "нормализовать" произведением $((E(X_1-EX_1)^3)^{1/3})((E(X_2-EX_2)^3)^{1/3})((E(X_3-EX_3)^3)^{1/3})$ :?
Однако что за франкенштейн получится у нас, куда будет смещена его выборочная оценка, каким тестом подтвердить, что эта выборочная оценка на самом деле отличается от нуля, и какой от него практический толк, ведь такая зависимость при полном отсутствии попарной зависимости в природе редкость, разве нет?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 08:14 


24/08/12
926
alisa-lebovski
Вроде есть такой метод, чтобы ухватить степень корелляции/зависимости, можно вычислять дробную (хаусдорфову и т.д.) размерность гиперповерхности на которой лежат тройки $X_1,X_2,X_3$.
В данном случае (трех величин) она будет с нуля до 3 (полная независимость); например если $X_1=f_1(X_3),X_2=f_2(X_3),X_3$ то они будут "ложится" на одномерную кривую (коеффициент получится ~1), если $X_1=f(X_3,X_2),X_2,X_3$ то на двухмерной поверхности (коеффициент получится ~2) и т.д.
https://en.wikipedia.org/wiki/Correlation_dimension

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 10:39 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Грубоэмпирический подход. Нарезаем интервалы, считаем попадания в ячейки. Проверяем гипотезу, что вероятность попадания в ячейку i по первой переменной, j по второй, k по третьей $P_{ijk}=\frac {n_i m_j q_k} N$
где $n_i$ число попаданий в i-тый интервал первой переменной, аналогично для прочих, N - общее число наблюдений.
Хи-квадрат, скажем.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:24 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
Я думаю, нормализовать лучше так:
$$r=\frac{E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))}{(DX_1DX_2DX_3)^{1/2}},$$
тогда коэффициент инвариантен относительно сдвиго-масштабных преобразований, как и обычный коэффициент корреляции. Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах. Задача сводится к следующей: в каких границах $EX_1X_2X_3$, если $EX_1=EX_2=EX_3=0$ и $DX_1=DX_2=DX_3=1$. Похоже на многомерную задачу вариационного исчисления, но может быть, как-то проще делается?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:37 


18/09/21
1676
Внизу степень $\frac12$, а не $\frac32$.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:37 
Заслуженный участник
Аватара пользователя


11/03/08
9490
Москва
Трикорреляция - метод известный, применительно к анализу временных рядов.
$\int _{-\infty }^{\infty }f^{*}(x)f(x+s_{1})f(x+s_{2})dx$
(Звёздочка тут комплексное сопряжение)
Используется наряду с биспектром, преобразованием Фурье от трикорреляции. Для гауссовских случайных процессов смысла не имеет, это для негауссовскости. Есть обобщения и на более высокий порядок.
Практически применяется в обработке сигналов (речевых, изображений, электроэнцефалограмм). В частности, существует прибор "Биспектральный анализатор" для контроля глубины наркоза (но точный алгоритм его работы фирмой-производителем не разглашается, помимо биспектра используются и иные показатели).
В определённом смысле можно сказать, что это характеристика формы сигнала (для той же ЭЭГ практически важно, что волны могут быть и не правильными синусоидами, а заостренными, притуплёнными, аркообразными, комплексами "пик-волна" и т.п.; а на обычном частотном спектре во всех случаях видны две частоты, но не их фазовое соотношение, задающее форму).
Есть ещё такой подход
https://pubmed.ncbi.nlm.nih.gov/26098298/
(полный текст есть на Либгене).
Но там какая-то специфика генетического анализа.
Вообще же использование тройного произведения не всегда даст нужную информацию. Контрпример навскидку.
Случайно выбирается точка на сфере (для определённости центр в нуле, радиус единица).
Исследуемые величины - координаты этой точки X,Y,Z.
Очевидно, матожидание тройного произведения равно нулю.
Но зная две величины, знаем третью с точностью до знака.
В данном случае размерность поверхности, на которой лежат точки - 2. Так что можно какие-то методы оценки размерности использовать, но мой ограниченный опыт показывает, что вычислительные затраты большие, а на реально доступных объёмах выборок точность никакая. Однако это очень частное мнение, вероятно, где-то и заработает.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:40 


18/09/21
1676
alisa-lebovski в сообщении #1584371 писал(а):
Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах.
Если все три величины связанны так что просто являются одной и той же величной, то $E[X^3]$ - это третий момент, который не имеет отношения ко второму моменту.
Т.е. может быть что угодно.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 34 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Vladimir Pliassov


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group