2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему На страницу 1, 2, 3  След.
 
 Обобщение корреляции на три величины
Сообщение04.03.2023, 13:27 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
Известна формула коэффициента корреляции
$$\rho=\frac{EX_1X_2-EX_1EX_2}{\sqrt{DX_1DX_2}},$$
он бывает на отрезке $[-1,1]$, что дает ограничения и на $EX_1X_2$. А что можно сказать про $EX_1X_2X_3$? Известен ли какой-то коэффициент, который выражается через это среднее и отражает зависимость трех величин, и в каких они могут быть границах? Для упрощения задачи, допустим, все величины $X_i$ со значениями на отрезке $[0,1]$ (тогда границы среднего тройного произведения 0 и 1 тривиальны).

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 13:34 


18/09/21
1676
Сведите к предыдущему случаю: $E(X_1X_2X_3)=E((X_1X_2)X_3)$.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 14:28 


27/06/20
337
Если у нас есть случайный вектор
$\begin{bmatrix}
x_1 \\
x_2 \\
x_3
\end{bmatrix}$
то описать одним коэффициентом линейную зависимость $x_1$ от $x_2$ и $x_3$ с одной стороны, $x_2$ от $x_1$ и $x_3$ с другой стороны и $x_3$ от $x_1$ и $x_2$ с третьей вероятно не получится.

Поэтому берут корреляционную матрицу для этого вектора
$\begin{bmatrix}
r_{1,1} & r_{1,2} & r_{1,3}\\
r_{2,1} & r_{2,2} & r_{2,3}\\
r_{3,1} & r_{3,2} & r_{3,3}
\end{bmatrix}$
И для каждого элемента вектора (на примере первого) находят такой коэффициент:
$r_{1,\ 23} = \sqrt{ \begin{bmatrix}
r_{1,2} & r_{1,3}\end{bmatrix}  \times \begin{bmatrix}
r_{2,2} & r_{2,3}\\
r_{3,2} & r_{3,3}
\end{bmatrix}^{-1} \times
\begin{bmatrix}
r_{1,2} \\
r_{1,3}
\end{bmatrix} } $
Это не ограничивается зависимостью одного элемента вектора от двух других. То же для одного от трех и т.д.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 17:28 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
zykov в сообщении #1584243 писал(а):
Сведите к предыдущему случаю:
Получится что-то сильно несимметричное и громоздкое.
ipgmvq в сообщении #1584246 писал(а):
Если у нас есть случайный вектор
Это я знаю, спасибо. Речь идет об описании более тонкой зависимости, не линейной. Например, три величины могут быть вообще независимы попарно, но зависимы в совокупности, и тройное произведение это может уловить.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:24 


18/09/21
1676
alisa-lebovski в сообщении #1584269 писал(а):
Речь идет об описании более тонкой зависимости, не линейной
Ну корреляция - это всё же линейная вещь.
Например, $X$ и $Y$ могут быть нелинейно зависимы, так что $X^2+Y^2=1$ всё время.
$X=\cos \varphi$, $Y=\sin \varphi$, где $\varphi$ равномерно распределено на $[0,2\pi]$.
Корреляция не покажет зависимости.

Если интересует именно нелинейность, то это другие вещи, что-то вроде "машинного обучения".
Если нужно просто анализировать три величины, то лучше делать линейный анализ.
Типичный линейный метод - Principal component analysis.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:37 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
zykov в сообщении #1584282 писал(а):
Ну корреляция - это всё же линейная вещь.
Ладно, я неудачно выразилась. Речь идет о неком показателе зависимости, который не называется корреляцией.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 18:48 


18/09/21
1676
Всё жа надо определиться, линейный это анализ или нелинейный.
Если нелинейный, то там всё сложно. В области Machine Learning (ML) этим занимаются.
(Вот представьте, что все три зависимы, так что лежат на какой-то кривой, но эта кривая - запутанный клубок в кубике 1x1x1.)
Если линейный, то PCA тут достатчно. Для трёхмерной величины из него можно соорудить два коэффициента - степень одномерности и степень двумерности.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение04.03.2023, 19:12 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
По-моему, в исходном сообщении все было четко сформулировано. Линейность не предполагается. Тема была о величине $EX_1X_2X_3$. В частности, для независимых в совокупности величин верно $EX_1X_2X_3=EX_1EX_2EX_3$. Если взять $EX_1X_2X_3-EX_1EX_2EX_3$, то будет равно нулю. Иначе оно может быть не равно нулю, даже если попарно величины независимы. Возникает вопрос - можно ли выражение $EX_1X_2X_3-EX_1EX_2EX_3$ поделить на что-то подходящее и получить некий коэффициент, тоже на отрезке $[-1,1]$? Но это вряд ли. Или делать что-то более хитрое, но в конечном счете получить некий коэффициент, отражающий зависимость, в определенных границах? Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 01:47 


27/06/20
337
alisa-lebovski в сообщении #1584296 писал(а):
Или, может быть, взять за основу $E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))$?
Можно вероятно взять и "нормализовать" произведением $((E(X_1-EX_1)^3)^{1/3})((E(X_2-EX_2)^3)^{1/3})((E(X_3-EX_3)^3)^{1/3})$ :?
Однако что за франкенштейн получится у нас, куда будет смещена его выборочная оценка, каким тестом подтвердить, что эта выборочная оценка на самом деле отличается от нуля, и какой от него практический толк, ведь такая зависимость при полном отсутствии попарной зависимости в природе редкость, разве нет?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 08:14 


24/08/12
926
alisa-lebovski
Вроде есть такой метод, чтобы ухватить степень корелляции/зависимости, можно вычислять дробную (хаусдорфову и т.д.) размерность гиперповерхности на которой лежат тройки $X_1,X_2,X_3$.
В данном случае (трех величин) она будет с нуля до 3 (полная независимость); например если $X_1=f_1(X_3),X_2=f_2(X_3),X_3$ то они будут "ложится" на одномерную кривую (коеффициент получится ~1), если $X_1=f(X_3,X_2),X_2,X_3$ то на двухмерной поверхности (коеффициент получится ~2) и т.д.
https://en.wikipedia.org/wiki/Correlation_dimension

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 10:39 
Заслуженный участник
Аватара пользователя


11/03/08
9489
Москва
Грубоэмпирический подход. Нарезаем интервалы, считаем попадания в ячейки. Проверяем гипотезу, что вероятность попадания в ячейку i по первой переменной, j по второй, k по третьей $P_{ijk}=\frac {n_i m_j q_k} N$
где $n_i$ число попаданий в i-тый интервал первой переменной, аналогично для прочих, N - общее число наблюдений.
Хи-квадрат, скажем.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:24 
Заслуженный участник
Аватара пользователя


05/12/09
1760
Москва
Я думаю, нормализовать лучше так:
$$r=\frac{E((X_1-EX_1)(X_2-EX_2)(X_3-EX_3))}{(DX_1DX_2DX_3)^{1/2}},$$
тогда коэффициент инвариантен относительно сдвиго-масштабных преобразований, как и обычный коэффициент корреляции. Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах. Задача сводится к следующей: в каких границах $EX_1X_2X_3$, если $EX_1=EX_2=EX_3=0$ и $DX_1=DX_2=DX_3=1$. Похоже на многомерную задачу вариационного исчисления, но может быть, как-то проще делается?

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:37 


18/09/21
1676
Внизу степень $\frac12$, а не $\frac32$.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:37 
Заслуженный участник
Аватара пользователя


11/03/08
9489
Москва
Трикорреляция - метод известный, применительно к анализу временных рядов.
$\int _{-\infty }^{\infty }f^{*}(x)f(x+s_{1})f(x+s_{2})dx$
(Звёздочка тут комплексное сопряжение)
Используется наряду с биспектром, преобразованием Фурье от трикорреляции. Для гауссовских случайных процессов смысла не имеет, это для негауссовскости. Есть обобщения и на более высокий порядок.
Практически применяется в обработке сигналов (речевых, изображений, электроэнцефалограмм). В частности, существует прибор "Биспектральный анализатор" для контроля глубины наркоза (но точный алгоритм его работы фирмой-производителем не разглашается, помимо биспектра используются и иные показатели).
В определённом смысле можно сказать, что это характеристика формы сигнала (для той же ЭЭГ практически важно, что волны могут быть и не правильными синусоидами, а заостренными, притуплёнными, аркообразными, комплексами "пик-волна" и т.п.; а на обычном частотном спектре во всех случаях видны две частоты, но не их фазовое соотношение, задающее форму).
Есть ещё такой подход
https://pubmed.ncbi.nlm.nih.gov/26098298/
(полный текст есть на Либгене).
Но там какая-то специфика генетического анализа.
Вообще же использование тройного произведения не всегда даст нужную информацию. Контрпример навскидку.
Случайно выбирается точка на сфере (для определённости центр в нуле, радиус единица).
Исследуемые величины - координаты этой точки X,Y,Z.
Очевидно, матожидание тройного произведения равно нулю.
Но зная две величины, знаем третью с точностью до знака.
В данном случае размерность поверхности, на которой лежат точки - 2. Так что можно какие-то методы оценки размерности использовать, но мой ограниченный опыт показывает, что вычислительные затраты большие, а на реально доступных объёмах выборок точность никакая. Однако это очень частное мнение, вероятно, где-то и заработает.

 Профиль  
                  
 
 Re: Обобщение корреляции на три величины
Сообщение05.03.2023, 11:40 


18/09/21
1676
alisa-lebovski в сообщении #1584371 писал(а):
Осталось выяснить, будет ли он на $[-1,1]$ или в каких-то еще границах.
Если все три величины связанны так что просто являются одной и той же величной, то $E[X^3]$ - это третий момент, который не имеет отношения ко второму моменту.
Т.е. может быть что угодно.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 34 ]  На страницу 1, 2, 3  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Gg322


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group