экспертиза с пропусками

[Евгений Машеров]

Можно рассмотреть численный пример. Два эксперта. 10 объектов. При этом, располагай они полной информацией, дали бы одинаковое упорядочение. 1, 2... 9, 10. Но каждый не располагает сведениями о 3 объектах, притом разных. Два варианта - в одном случае один не знает про 3, 4, 5, а второй про 6, 7, 8, во втором первый не знает про 1, 2, 3, а второй про 8,9, 10.

[AndreyL]

Я рассматривал немного другой пример - $n=7$ объектов, $m=4$ эксперта. Один эксперт не знает об одном объекте. Все оценки упорядочены.
Расчет шел так:
считаем среднюю оценку по каждому объекту $\bar x_i=E(x_i)$ с учетом количества экспертов, оценивших каждый объект.
из этих средних считаем общее среднее $\bar x_{tot}=\frac 1 n \sum_{i=1}^n \bar x_i$
считаем сумму $S=\sum_{i=1}^n \left( \bar x_i-\bar x_{tot} \right)^2$.
Оказалось, что эта сумма зависит от того, по какому конкретно объекту у эксперта нет информации. Если по последнему, то $S=28$ (как и для полной оценки), если не по последнему, то меньше.

[Евгений Машеров]

Мне представляется естественным для неизвестного присваивать ранг, равный матожиданию ранга при случайном выборе объекта, который окажется неизвестным эксперту. Если у нас какой-то иной механизм "порождения неизвестности" (скажем, эксперты-обыватели здраво судят о людях своего положения, но отказываются оценивать и великих святых, и великих злодеев), то может быть осмысленен и иной способ замены пропусков.

[AndreyL]

Мы, пока, сошлись на таком способе - эксперты, не оценивающие объект, соглашаются с мнением тех экспертов, которые этот объект оценили. При этом все эксперты начинают с единицы и дают оценки по порядку. Обывателю это проще всего объяснить. Но, тогда сумма оценок экспертов не соответствует ограничениям на конкордацию.
Может быть можно придумать способ коррекции оценок, дающий тот же результат, что и изложенный выше (с точки зрения относительных разностей всех пар результирующих оценок), но без смещения конкордации?

[Евгений Машеров]

Существует более расходное в вычислительном плане по сравнению с обычной формулой выражение конкордации через парные коэффициенты корреляции Спирмэна.
http://www.machinelearning.ru/wiki/index.php?title=Конкордация_Кенделла
Можно рассчитывать корреляции оценок двух экспертов, беря лишь общие для них объекты. А затем свести к коэффициенту W.

[AndreyL]

Евгений Машеров в сообщении #1213120 писал(а):

Существует более расходное в вычислительном плане по сравнению с обычной формулой выражение конкордации через парные коэффициенты корреляции Спирмэна.

Вот это, пожалуй, подходит! Только не совсем ясно, как теперь критические значения искать? Понятно, что при малых $n$ и $m$ придется Монте-Карлой, как, только исходные условия назначать?

[AndreyL]

Придумал схему для Монте-Карлы: поскольку позиции отсутствующих элементов известны, из всех модельных выборок удаляем именно эти элементы. Распределения для случаев наличия и отсутствия связанных рангов не различаются (как для полных таблиц, так и для таблиц с пропусками), а вот случаи полных таблиц и таблиц с пропусками дают разные распределения статистики.

Большое Спасибо Евгению Машерову!