экспертиза с пропусками

[AndreyL]

Дамы и Господа!

Вопрос про экспертные оценки. Есть $n$ объектов, которые оцениваются $m$ экспертами. Эксперты ранжируют объекты, ставят им баллы от 1 до $n$. Баллы могут быть дробными - если эксперт считает, что два объекта одинаковы, то он обоим объектам ставит среднее, например, вместо 1 и 2 ставится два раза по 1.5.
Сложность в том, что не каждый эксперт оценивает все объекты, в таблице оценок есть пропуски.
Вопроса два:
1 - как корректно и обоснованно рассчитать средний балл каждого объекта? Т.е. учесть тот факт, что разные объекты оцениваются разным набором экспертов.
2 - как корректно рассчитать конкордацию Кенделла?

[Евгений Машеров]

В качестве "костыля" - задать неоцененным объектам средний ранг $\frac {n+1} 2$ (соответственно сдвинув объекты с низким рангом).

[AndreyL]

Евгений Машеров в сообщении #1212914 писал(а):

(соответственно сдвинув объекты с низким рангом).

Правильно ли я понимаю, что под этим сдвигом понимается выравнивание оценок по экспертам на общий центр? Т.е. к оценкам, поставленным несознательным экспертом нужно добавить слагаемое, равное разнице между $\frac {n+1} 2$ и средней оценкой, поставленной данным экспертом?

[Евгений Машеров]

Нет. Это присуждение "неоцененным" условной оценки (повторю, это "костыль", полноценное решение должно было бы породить иную оценку, чем "конкордация").
Пример. Есть 10 объектов.
Эксперт первым семи присвоил ранги 1, 2, 3, 4, 5, 6, 7, и три не смог оценить, ничего о них не зная. Тогда делается предположение, что эти три ничем от прочих не отличаются, причины их неоценки не связаны с их реальными рангами, и мы их считаем "средними", присваивая ранг 5.5, в точности средний.
Тогда первые три объекта, "вышесредние" из оцененных, останутся с теми же рангами, 4 получит ранг 5.5 вместе с тремя неоценёнными, а три худшие получат ранги 8, 9 и 10. При этом общая сумма рангов останется той же (55).

[AndreyL]

Но тогда получается, что мнение нерадивого эксперта в отношении тех объектов, которые он оценил, повышается, а те объекты, которые он не оценил, механически перемешаются ближе к центру. Если же к оценкам 1, 2, 3, 4, 5, 6, 7 прибавить 1.5, а трем последним поставить 5.5, то сумма баллов тоже будет 55, но возможности этого эксперта будут сужены до диапазона 2.5-8.5, против возможностей добросовестных экспертов 1-10. Или другой вариант - поставленным оценкам добавить 1.5, а непоставленные проигнорировать и считать среднее по имеющимся. Что более справедливо?

И как при этом быть с конкордацией?

[AndreyL]

Еще вариант - если эксперты, не ставящие оценки, соглашаются с теми, кто оценки ставит, то для заполнения пропущенных данных можно брать среднее по поставленным оценкам. Как тогда нужно скорректировать оценки тех экспертов, которые оценивают не все объекты?

[Евгений Машеров]

AndreyL в сообщении #1212939 писал(а):

Но тогда получается, что мнение нерадивого эксперта в отношении тех объектов, которые он оценил, повышается

Для половины повышается, для половины понижается.

[AndreyL]

Евгений Машеров в сообщении #1212948 писал(а):

Для половины повышается, для половины понижается.

Значимость этого мнения повышается в любом случае, и высокого мнения, и низкого. Парадоксы русского языка.

[Евгений Машеров]

Нормирующий коэффициент в формуле для коэффициента конкордации W получен, исходя из того, что ранги, выставленные отдельными экспертами, принимают значение от 1 до n. Я не знаю, как его изменить, чтобы использовать предложенные Вами значения. Но это явно будет нетривиальная формула, поскольку число утерянных наблюдений у разных экспертов будет различно, и в неё должны входить все эти значения.

[AndreyL]

Если я правильно понял то, что написано тут, то группировка (связанные ранги) может быть и на первых, и на последних значениях баллов, а тогда не обязательно от 1 до n, там пример в таблице 8.6.2

[alisa-lebovski]

По-моему, проще оценить пропущенные экспертами объекты за них, случайным образом.

[Евгений Машеров]

AndreyL в сообщении #1212986 писал(а):

Если я правильно понял то, что написано тут, то группировка (связанные ранги) может быть и на первых, и на последних значениях баллов, а тогда не обязательно от 1 до n, там пример в таблице 8.6.2

Поправка на связанные ранги вводится, но она вычисляется, исходя из того, что ранги меняются от 1 до n, но после распределения n значений некоторые значения "связываются", то есть отрезок, занимающий ранги от k до m, принимает "средний ранг" $\frac {k+m} 2$.

[AndreyL]

alisa-lebovski в сообщении #1212988 писал(а):

По-моему, проще оценить пропущенные экспертами объекты за них, случайным образом.

Оно проще с технической точки зрения, но если я буду "случайным образом" заполнять пустующие ячейки (читай фальсифицировать оценки маститых экспертов), то это грозит довольно жестким выговором.

Евгений Машеров в сообщении #1212995 писал(а):

Поправка на связанные ранги вводится, но она вычисляется, исходя из того, что ранги меняются от 1 до n, но после распределения n значений некоторые значения "связываются", то есть отрезок, занимающий ранги от k до m, принимает "средний ранг" $\frac {k+m} 2$.

Способ, предложенный Вами, формально подходит под эти условия. Но мне не очень нравится, что при этом эксперт, оценивающий не все объекты, механически приближает неоцененные объекты к центру.

Хорошо! А если остановиться на самом простом случае, когда средний балл объекта считается просто как средний из тех экспертов, которые оценили этот объект. Фактически тогда недооцененные объекты смещаются в сторону больших значений, А формально в этом случае пустые ячейки заполняются средним из имеющихся данных по объекту. Можно ли в этом случае корректно рассчитать конкордацию? Ведь тогда сумма баллов каждого эксперта не обязан быть $n \frac {n+1} 2$

[Евгений Машеров]

Здесь два возражения, формальное и содержательное.
Формальное состоит в том, что нормировочный коэффициент получен, исходя из того, что оценки эксперта это различные числа от 1 до n, или хотя бы их сумма равна сумме чисел, но некоторые повторяются, тогда есть поправки к значению коэффициента. При произвольном выборе рангов уже невозможно гарантировать, что W будет лежать между нулём и единицей (возможно, существуют формулы, которые это обеспечат, но мне они неизвестны).
Содержательное состоит в том, что замена неизвестных оценок для данного эксперта средним по другим экспертам завысит показатель согласованности мнений экспертов. А замена неизвестных рангов неоценённых объектов их матожиданием смещения не даст.

[AndreyL]

Евгений Машеров в сообщении #1213045 писал(а):

нормировочный коэффициент получен, исходя из того, что оценки эксперта это различные числа от 1 до n.

Не совсем так, они могут начинаться и не с 1, главное, чтобы строго по порядку. Т.е. к оценкам каждого эксперта можно добавить любую константу (для каждого эксперта свою) - конкордация не изменится, просто все средние сместятся на одно и то же число. Но это мало интересно.

Евгений Машеров в сообщении #1213045 писал(а):

замена неизвестных оценок для данного эксперта средним по другим экспертам завысит показатель согласованности мнений экспертов. А замена неизвестных рангов неоценённых объектов их матожиданием смещения не даст.

Так-же не даст смещения конкордации такая замена: все эксперты начинают с единицы, а неоцененым объектам присваивается средний балл из оставшихся. Или, наоборот - эксперты ставят только максимальные баллы. Т.е с точки зрения смещения конкордации без разницы, в каком месте разорвать неполные цепочки оценок. Но средние баллы от этого очень сильно зависят.