Однородность-неоднородность и коэффициент вариации

[alexey_og]

Прошу помочь:
Мы проводим групповое тестирование персонала. Обычная психодиагностика: люди отвечают на вопросы теста путем выбора из предложенных вариантов ответов. В итоге мы получаем на каждый вопрос n-ное количество ответов (n-число участников в группе тестирования). Каждый ответ участника - это некая оценка, например, "4" (при возможном диапазоне от "0" до "5").
Задача простая - определить степень однородности оценок, чтобы (в том числе) понимать насколько велико количество крайних оценок. Нам показалось, что коэффициент вариации при этом дает более наглядный результат, чем стандартное отклонение. Поэтому решили остановиться на вариации.
Но вот вопрос: что нам следует считать пограничным значением между "однородный набор оценок" и "неоднородный..." ? Понятно, что жесткой границей здесь не может быть в принципе. Но нам все же как-то надо условно определить, что, например, "если вариация имеет значение от 33% и более, то однородность оценок должна... как бы ставиться под сомнение". Типа того.
В разных источниках по разному определяют эту границу. Правда, чаще всего, именно 33% (для нормального распределения). Но есть и другие мнения...

А как в нашем случае? Какую границу выбрать? Какое здесь более правильное решение?

[alexey_og]

Возможно мой вопрос остался незамеченным?

[upgrade]

alexey_og в сообщении #911426 писал(а):

Нам показалось, что коэффициент вариации при этом дает более наглядный результат, чем стандартное отклонение.

в чем бОльшая наглядность проявляется?

[arseniiv]

(Оффтоп)

alexey_og в сообщении #916113 писал(а):

Возможно мой вопрос остался незамеченным?

Но ведь ответ зависит от распределения (вид которого ещё надо как-то обосновать, или иметь в виду, что оно может плохо соответствовать опыту) и того, что вы собираетесь делать с этим ответом. Именно потому нет ни жёсткой, ни какой-нибудь другой «мягкой» границы — вопрос недоопределён. Если бы можно было как-то единственным образом усреднить по всем возможным распределениям и использованиям… — но нельзя.

Так что в текущем виде вопроса вряд ли возможен даже намёк на ответ. (Ну, правда, вам ещё могут дать ответ альты какие-нибудь — им не обязательна его адекватность.)

[Evgenjy]

alexey_og в сообщении #911426 писал(а):

Нам показалось, что коэффициент вариации при этом дает более наглядный результат, чем стандартное отклонение.

Думаю, что Вы ошибаетесь. Разберем два случая. Первый, половин ответила: ноль, вторая половина: единица. Второй случай, половин ответила: четыре, вторая половина: пять. Однородность в этих случаях, по моему, одинаковая, а коэффициент вариации в первом случае значительно больше, чем во втором.

[alexey_og]

upgrade в сообщении #916114 писал(а):

в чем бОльшая наглядность проявляется?

Отвечу так: для чайников в матстатистике будет более понятно, если мы укажем ковариацию и поясним, что, если этот показатель больше такого-то значения, то можно считать что выборка не достаточно однородна. А со стандартным отклонением нам придется больше им объяснять, что там к чему.

[upgrade]

alexey_og в сообщении #916122 писал(а):

если мы укажем ковариацию и поясним, что, если этот показатель больше такого-то значения

видимо здесь имеется ввиду вариация. стандартное отклонение от вариации почти не отличается.

[alexey_og]

arseniiv в сообщении #916115 писал(а):

(Оффтоп)

alexey_og в сообщении #916113 писал(а):

Возможно мой вопрос остался незамеченным?

Но ведь ответ зависит от распределения (вид которого ещё надо как-то обосновать, или иметь в виду, что оно может плохо соответствовать опыту) и того, что вы собираетесь делать с этим ответом. Именно потому нет ни жёсткой, ни какой-нибудь другой «мягкой» границы — вопрос недоопределён. Если бы можно было как-то единственным образом усреднить по всем возможным распределениям и использованиям… — но нельзя.

Так что в текущем виде вопроса вряд ли возможен даже намёк на ответ. (Ну, правда, вам ещё могут дать ответ альты какие-нибудь — им не обязательна его адекватность.)

Я знаю, что математика - точная наука. Но в данном случае мы все-таки решили сделать допущение, что наша выборка подчиняется нормальному закону распределения.
А что делать с ответом? Да, собственно, в предыдущем сообщении я ответил. Нужно, чтобы люди, которые будут анализировать результаты группового тестирования представляли себе степень однородности-разнородности полученных результатов. Условно, рассмотрим два тестирования, в первом участвуют два человека и во втором - тоже двое. В обоих случаях они дают свои оценки по 5-бальной шкале, отвечая на вопрос "Вы довольны нынешним режимом работы?". Первые двое дали оценки "1" (совсем не доволен) и "5" (полностью доволен). А другие двое ответили одинаково, то есть "3" и "3". Среднее и там и там -"3", то есть вроде как в обеих группах люди в целом нейтрально относятся к нынешнему режиму работы. Но ведь это не так, поскольку в первом случае оба значения - критические.
Наша задача - "просигналить", что в первом случае не следует доверять среднему значению, так как есть люди, которые либо совсем не довольны либо полностью удовлетворены режимом работы. Поэтому мы решили использовать ковариацию.

-- 07.10.2014, 15:28 --

upgrade в сообщении #916131 писал(а):

alexey_og в сообщении #916122 писал(а):

если мы укажем ковариацию и поясним, что, если этот показатель больше такого-то значения

видимо здесь имеется ввиду вариация. стандартное отклонение от вариации почти не отличается.

Да. Просто сам показатель вариации выглядит боле понятно (для чайников)

-- 07.10.2014, 15:39 --

Evgenjy в сообщении #916119 писал(а):

alexey_og в сообщении #911426 писал(а):

Нам показалось, что коэффициент вариации при этом дает более наглядный результат, чем стандартное отклонение.

Думаю, что Вы ошибаетесь. Разберем два случая. Первый, половин ответила: ноль, вторая половина: единица. Второй случай, половин ответила: четыре, вторая половина: пять. Однородность в этих случаях, по моему, одинаковая, а коэффициент вариации в первом случае значительно больше, чем во втором.

Ну, правильно. Ведь в первом случае среднее 0,5 сильнее отличается от 0 и 1, чем 4,5 отличается от 4 и 5.

[alexey_og]

Evgenjy, согласен с Вами. С т. зр. наглядности результатов коеффициент вариации может сыграть злую шутку :)

[upgrade]

к качественным шкалам, к которым относится система оценок (порядковая шкала), среднее арифметическое не применимо.
Теорема 1. Из всех средних по Коши допустимыми средними в порядковой шкале являются только члены вариационного ряда (порядковые статистики).
вы можете, например, обозначить оценки $10000, 10001, 10002, 10003, 10004, 10005$. с применением среднего арифметического у вас все однородное будет.
посмотрите Орлова А.И. П.Ф. Веллемана и Л. Уилкинсона. лично я сам въехать пока не могу, по каким критериям анализировать тем или иным способом данные , которые являются метками разных шкал.

[Evgenjy]

Я думаю, что стандартное отклонение вам надо нормировать на ширину диапазона ваших оценок и это выражать в процентах, т. е. стандартное отклонение поделить на число оценок (в приведенном примере это шесть) и умножить на 100. Какие проценты выбрать в качестве граничных? Математика тут уже не поможет. Нужен опыт экспериментатора.

[alexey_og]

Evgenjy в сообщении #916459 писал(а):

Я думаю, что стандартное отклонение вам надо нормировать на ширину диапазона ваших оценок и это выражать в процентах, т. е. стандартное отклонение поделить на число оценок (в приведенном примере это шесть) и умножить на 100. Какие проценты выбрать в качестве граничных? Математика тут уже не поможет. Нужен опыт экспериментатора.

Evgenjy, и в этом я с Вами согласен. Спасибо.
Вчера вечером голову ломали и пришли к выводу близкому Вашему :)
Но только не нормировать с учетом диапазона поставленных оценок. Хотя, возможно, Вы имели ввиду общее количество вариантов оценок? то есть 0,1,2,3,4,5, так? Это очень логично и наверное единственно правильное решение - соотнести значение стандартного отклонения со шкалой (когда имеем дело с оценками качественного типа) . В нашем случае она 5-бальная. Но пока мы больше склоняемся к тому, что для определения граничного показателя следует взять 2,5 (то есть середину нашей шкалы, поскольку при о-очень большой выборке все равно итоговое среднее будет плясать где-то в районе середины шкалы) и определить от него такое станд. отклонение, при котором коэф. вариации будет 0,3 (30%). Получаем - 0,8. И далее считать, что если при нашей шкале отклонение составило более 0,8 то однородность выборки - не айс.
Либо другой вариант: показатель отклонения поделить на константу - половину шкалы, то есть в нашем случае на 2,5. Поскольку отклонение это же показатель разброса и в ту и в другую сторону от среднего, значит знаменатель "рубим" пополам. В итоге имеем что-то типа коэф. варианции, но только в знаменателе не среднее, а - полшкалы. И получаем, например, для отклонения 0,8 показатель 0,3 (критический). Если отклонение выше, то ... (понятно).
Значения в первом и втором вариантах, кстати, совпадают.
Отклонение 0,8 - это неплохой ориентир в качестве критического значения. Например, при среднем в 2,0, отступ вправо до 1,2 и влево до 2,8 - это уже более-менее существенное качественное различие, так как в нашем случае "1" - это оценка "не согласен", а "3" - "скорее согласен". Аналогичные выводы получаются, если среднее значение оказалось в верхней или центральной части шкалы. Ну и с общепринятыми положениями мат. статистики тут мы тоже сходимся, ведь кофэ. вариации 33% считается критическим.
Хотя опытным статистическим путем конечно это еще мы проверим.
Шкала, кстати, такая:
0 - совсем не согласен
1- не согласен
2 - скорее не согласен
3 - скорее согласен
4 - согласен
5 - полностью согласен

[upgrade]

alexey_og в сообщении #916523 писал(а):

для определения граничного показателя следует взять 2,5 (то есть середину нашей шкалы

$2,5$ нету в шкале, оно не может быть серединой, для порядковой шкалы середина - это медиана.

[upgrade]

Вы можете вполне корректно вместо $0,1,2,3,4,5$ указать А,Б,В,Г,Д,Е, но среднее арифметическое уже взять не сможете. Характеристика случайной величины "среднее арифметическое" зависит от обозначений случайной величины, следовательно не может применяться в качестве характеристики.

[alexey_og]

upgrade в сообщении #916615 писал(а):

Вы можете вполне корректно вместо $0,1,2,3,4,5$ указать А,Б,В,Г,Д,Е, но среднее арифметическое уже взять не сможете. Характеристика случайной величины "среднее арифметическое" зависит от обозначений случайной величины, следовательно не может применяться в качестве характеристики.

Не понимаю... Расчеты же мы в итоге проводим и у нас определяется среднее значение на основе выставленных оценок. Которое может составлять и 1,3 и 2,5 и 3,7 и т.п. Почему же мы не можем взять 2,5 за среднее значение шкалы? Ну пусть не шкалы. Пусть как значение, к которому стремится среднее по оценкам при очень большой большой выборке. То есть мы предполагаем, что если все трудящиеся люди на планете пройдут это исследование, то полученное среднее скорее всего окажется где-то в районе 2,5