порядковые оценки коэффициента корреляции

[AndreyL]

Друзья? Возник такой вопрос: существуют ли порядковые методы оценки коэффициентов корреляции многомерного нормального распределения? Оценкой центра может быть медиана (порядковая статистика). Оценка дисперсии может быть получена из двух симметричных квантилей (на самом деле из двух любых квантилей, только тогда центр понадобится). Но это оценки параметров одномерных маргинальных распределений. А можно ли порядковой статистикой оценить коэффициент корреляции? Т.е. оценить всю ковариационную матрицу только с использованием порядковых статистик?

[svv]

AndreyL в сообщении #836325 писал(а):

Друзья?

Ну, Вам виднее...

[Евгений Машеров]

Можно. Но, вообще говоря, можно потерять такие полезные свойства, как положительную определённость корреляционной матрицы и пр.

-- 13 мар 2014, 14:14 --

Можно, например, воспользоваться тем, что $cov(x,y)=(D^2(x+y)-D^2(x-y))/4$, причём в качестве оценки дисперсии применить какую-то робастную.

-- 13 мар 2014, 14:20 --

Можно перейти к рангам переменных (или функциям от рангов, скажем, "нормальным меткам"). Можно использовать "квадрантную корреляцию", когда переменные заменяются +1 или -1 в зависимости, больше или меньше медианы (крайне грубая оценка, но особо устойчивая).
Есть и другие подходы. Свойства корреляционной матрицы надо проверять для каждого метода отдельно.

[--mS--]

AndreyL в сообщении #836325 писал(а):

А можно ли порядковой статистикой оценить коэффициент корреляции? Т.е. оценить всю ковариационную матрицу только с использованием порядковых статистик?

Можно тупой вопрос? Что Вы имеете в виду, когда говорите о порядковых статистиках, имея выборку из многомерного нормального распределения?

[Евгений Машеров]

Лично я понял ТС так (возможно, и неверно), что ему нужна робастная статистика. Которую он именует порядковой, поскольку иных робастных статистик не знает.

[AndreyL]

--mS-- в сообщении #836643 писал(а):

Что Вы имеете в виду, когда говорите о порядковых статистиках, имея выборку из многомерного нормального распределения?

Действительно, ранжирование многомерных выборок вопрос нетривиальный. Поэтому вариант, предложенный Евгением Машеровым, для меня представляется весьма перспективным. Правда потерять положительную определённость корреляционной матрицы нельзя.
Действительно, интересует вопрос получения робастной оценки ковариационной матрицы. Сложность в том, что, во-первых, самих данных не много (десятимерная случайная величина, объем выборки полторы-две сотни), во-вторых, выборка взвешенная, т.е. каждому элементу выборки назначен статистический вес. Существуют ли какие-то способы, применимые к данной задаче?

[Евгений Машеров]

Ну, как вариант - для каждой переменной перейти к ранговой шкале, затем от рангов к нормальным меткам $x_i=\Phi^{-1}(r_i)$
где Ф - функция стандартного нормального распределения. И уже для преобразованных считать корреляции обычным образом. Неотрицательная определённость матрицы гарантирована тем, что это матрица Грама. Грубые ошибки превратятся в сдвиги рангов, что резко ослабит их воздействие.
При желании можно и веса воткнуть.

[AndreyL]

Извиняюсь за молчание - был в отъезде.

Если я правильно понял, то для каждой одномерной величины исходное значение $y_i$ заменяется значением $x_i=\Phi^{-1}(r_i)$, где $r_i=\frac{k_i}{n}-\frac{1}{2 n}$, $k_i$ - порядковый номер $y_i$ в вариационном ряду, $n$ - объем выборки. Только вот как теперь вставить веса? Или их нужно учесть при подсчете $r_i$, тогда $r_i=\sum_{j=1}^{k_i}w_j / W-\frac{w_1}{2 W}$, $W=\sum_{j=1}^{n}w_j$, где $w_j$ - вес $i$-го элемента выборки, или их учесть уже при оценке ковариации?

[Евгений Машеров]

Я бы уже при оценке вводил. Тогда точно можно гарантировать положительную определённость (ну, осторожно скажу - неотрицательную).

[AndreyL]

А если учитывать при при подсчете $r_i$, то определитель тоже будет неотрицательным, поскольку просто создается новая выборка.

[Евгений Машеров]

В общем, да. Тоже получится. Но лично я бы сначала перекодировал в ранги и "нормальные метки", а потом взвешивал бы. Впрочем, это "вкусовщина".

[AndreyL]

Вообще сам подход - перевести каждую переменную в ранги, после чего в нормально-распределенные величины, а потом уже считать корреляционные матрицы, немного напоминает копула-функцию. Только в качестве маргинальных функций распределения выступают не параметрические, а просто эмпирические функции распределения. Но тогда получается, что веса нужно учитывать именно при расчете рангов, а, возможно, и при расчете рангов и при оценке корреляционной матрицы. Или я не прав?
Особо интересует значение плотности многомерного распределения для каждого элемента выборки. Если правомерно рассматривать предлагаемый Вами подход как аналог копула-функции, то на выходе эту плотность можно легко получить для любого элемента выборки. Только, похоже, для решения этой задачи нужно будет считать ковариационную матрицу, поскольку ни из чего не следует, что дисперсии преобразованные одномерных компонентов будут единичными.

[Евгений Машеров]

Матрицу ковариаций в любом случае считать придётся. Веса вводить до пересчёта в ранги - можно. Аргументов для расчёта "после". кроме как "так вижу" - привести не могу. Может. "до" будет и лучше.

[AndreyL]

Пока не могу придумать, как это можно проверить. Можно численно, но как генерировать взвешенную случайную величину?

[Евгений Машеров]

Дублировать. триплировать и т.п.?
Вообще, с чем связана потребность в взвешивании?