Коэффициент вариации

[Александрович]

Цитата:

Коэффициент вариации характеризует относительную меру отклонения измеренных значений от среднеарифметического: $ V=\frac{\sigma}{a}\cdot 100 $%,
где
$V$ - коэффициент вариации,
$\sigma$ - среднеквадратическое отклонение,
$a$ - среднее арифметическое.
Чем больше значение коэффициента вариации, тем относительно больший разброс и меньшая выравненность исследуемых значений. Если коэффициент вариации меньше 10%, то изменчивость вариационного ряда принято считать незначительной, от 10% до 20% относится к средней, больше 20% и меньше 33% к значительной и если коэффициент вариации превышает 33%, то это говорит о неоднородности информации и необходимости исключения самых больших и самых маленьких значений.

Для экспоненциального распределения $V=100$%, тем не менее выборка из генеральной совокупности с таким распределением является однородной и исключение крайних значений не требуется. Как объяснить это противоречие?
И ещё, если среднее значение меняется на $a_0$ при добавлении к каждому члену вариационного ряда постоянной величины $a_0$, то изменчивость ряда ($\sigma$) остаётся постоянной и поэтому коэффициент вариации может быть практически любым от почти нуля до бесконечности (при $a$=0). О какой тогда однородности можно говорить?

[VPro]

1. В математической статистике есть понятие однородности для двух выборок. И критерии проверки однородности двух выборок, например, критерий Стьюдента.
Критерия однородности одной выборки не встречал.
2. Однородность и коэффициент вариации в математической статистике никак не связаны.

[Евгений Машеров]

Коэффициент вариации достаточно часто применяется в практической статистике, но крайне редко в математической. Дело в том, что он неинвариантен к сдвигу. Осмысленен он для логарифмически нормального распределения, для которого $V=\sqrt{e^{\sigma^2}-1}$. Для нормального распределения, излюбленного в матстатистике, он бессмысленен.
Однако с практической точки зрения часто рассматриваются величины, существенно положительные, и логнормальная аппроксимация их распределения выглядит предпочтительнее. Во всяком случае, достаточно естественной выглядит оценка погрешности в процентах, а не в единицах измерения показателя. Да и с точки зрения "генерации разброса" часто естественнее думать, что случайные факторы мультипликативны, а не аддитивны, и в пределе будет не нормальное, а логнормальное. То есть этот коэффициент неявно предполагает, что распределение логарифмически нормально.
Но если статистик достаточно квалифицирован, чтобы различать нормальное и логнормальное распределения, и имеет основания считать распределение логнормальным, он предпочтёт свести логарифмированием к нормальному распределению, чтобы располагать всем арсеналом методов, основанных на нормальности.
То есть использование коэффициента вариации это приём для практика без математической подготовки, хотя и имеющий определённые математические основания (но они запрятаны, как теорема Байеса в правилах пристрелки по наблюдению знаков разрывов).
И применять его, этот коэффициент, вполне законно для логнормального случая, практически оправдано в случае распределения, близкого к логнормальному, описывающего положительную величину с одной модой и тяжёлым правым хвостом, но для общего случая он не показан. В частности, экспоненциальное не для него.
Это некое "правило большого пальца" для упрощённого практического применения в некоторых достаточно распространённых случаях, но не строгое, если только не доказана логнормальность.

[VPro]

Интересно узнать, чем "практическая" статистика отличается от математической?

[Евгений Машеров]

Ну, например, тем, что иногда ею занимаются практики без математической подготовки.

[VPro]

И в результате появляется абсурдное утверждение, связывающее неопределенный термин "однородность выборки" с коэффициентом вариации и из пальца высосанные 33%?

[Александрович]

Я это так себе могу объяснить. Нужно левый хвост распределения закрепить в нуле, тогда для нормального распределения новое среднее будет равно $a-x_{\min} \approx 3 \sigma $. Тогда коэффициент вариации "чистого" нормального распределения будет равен $V=\frac {\sigma}{3 \sigma}\approx 0.3 $. А смесь даст коэффициент вариации больше 30%.

[VPro]

И что эта странная манипуляция доказывает?

[VPro]

Если под "однородностью" вы понимаете принадлежность к нормальному распределению, то для этого существуют критерии нормальности. Коэффициент вариации с ними никак не связан.
Если "однородность" - это принадлежность к любому другому заданному закону распределения, к вашим услугам непараметрические критерии согласия. Опять же коэффициент вариации здесь никаким боком.
Если под "однородностью" выборки понимать ее принадлежность какому-либо неизвестному распределению, то для любой выборки можно найти соответствующее ей распределение, т.е. постановка задачи бессмысленна, такая "однородность" будет всегда.
В любом случае, коэффициент вариации непричем.
Если же нужно провести тест на наличие выбросов, не уточняя распределение, то для этого годится боксплот Тьюки.

[Евгений Машеров]

Я понимаю, что ощущать себя круче изобрётшего этот коэффициент Карла Пирсона бесценно. Тем не менее - человек, который, среди прочего, придумал коэффициент корреляции, метод моментов, систему кривых распределения своего имени, p-значение и вообще теорию проверки гипотез, хи-квадрат, метод главных компонент и гистограммы, наверно, тоже что-то в статистике разумел, и отчего-то для изобретённого им коэффициента применение видел.
Интерпретировать его можно по-разному, и в применении возможны ошибки. Однако "злоупотребление не отменяет употребление", и для него применения есть. Разумеется, он не для величин в интервальной шкале, только в шкале отношений. Сравнивать им погрешность термометров в шкалах Цельсия и Фаренгейта бессмысленно, а вот в Кельвина и Ренкина можно. Вообще предполагается, что это некий инструмент для быстрой и грубой прикидки. Да, и возвращаясь к вопросу, чем прикладная статистика отличается от теоретической - в теоретической бьют за то, что даёшь ответ, когда предпосылки применения метода не выполняются, в прикладной за то, что не даёшь ответа, оправдываясь невыполнением предпосылок. И примитивные, но дающие быструю грубую прикидку методы востребованы.
В ряде задач он имеет осмысленную содержательную трактовку, скажем, как отношение "сигнал-шум", вернее, обратное к нему "шум/сигнал". Или как отношение вариабельности цены актива к доходности. И там, в каждой конкретной области, могут быть нормативные значения, по которым делаются выводы. Конечно, обобщать их не стоит, они "местночтимые", но на своём месте работают. И названные "33%" могут быть вполне разумны в какой-то конкретной области, а за её пределами бессмысленным начётничеством.
Наиболее естественно его применение в случае логнормального распределения, где он просто выражается через параметры распределения.
$V=\sqrt{e^{\sigma^2}-1}$. И названные 33% означают, что $\sigma^2=0.1034$, а отношение среднего значения к наивероятнейшему (модальному) составляет порядка 1.18. Расхождение "типового значения" с вычисленным средним на одну пятую уже не может быть пренебрежено практически. Если оно столь велико - имеет смысл подумать о том, что выборка неоднородна, являясь смесью распределений, и её нужно разделить на раздельно исследуемые части.
Что до экспоненциального распределения -тут я, увы, был не вполне прав. Применительно к нему бессмысленен "критерий 33%" и аналогичные вышеприведенные. Сам же показатель имеет смысл, как способ различать близкие распределения (Эрланга если меньше единицы, гиперэкспоненциальные, если больше, а если единица - экспоненциальное). Разумеется, в таком виде это для грубой и быстрой оценки, более точное исследование - критерии принадлежности к распределению. Однако ситуации, в которых знать что-то приблизительно, но сейчас, предпочтительнее, чем точно, но потом, встречаются не столь редко.

[VPro]

Уважаемый Евгений! Ваша проникновенная апология коэффициента вариации глубоко меня тронула. Признаюсь, я и сам ценю этот показатель и с удовольствием им пользуюсь, только по прямому назначению, например, как оценка относительной ошибки измерения. Мои возражения, возможно чересчур резкие, направлены исключительно против некорректного употребления этого показателя.

[vend]

Александрович в сообщении #1410457 писал(а):

Цитата:

Чем больше значение коэффициента вариации, тем относительно больший разброс и меньшая выравненность исследуемых значений. Если коэффициент вариации меньше 10%, то изменчивость вариационного ряда принято считать незначительной, от 10% до 20% относится к средней, больше 20% и меньше 33% к значительной и если коэффициент вариации превышает 33%, то это говорит о неоднородности информации и необходимости исключения редких самых больших и самых маленьких значений.

Для экспоненциального распределения $V=100$%, тем не менее выборка из генеральной совокупности с таким распределением является однородной и исключение крайних значений не требуется. Как объяснить это противоречие?

Фикс. У экспоненциального распределения большие и маленькие значения не будут редки. Метод предназначен для предварительного отсеивания выбросов в выборке являющейся результатом объединения нескольких выборок сразу после проведения эксперимента, до поиска параметрического распределения выборки или в случае когда применять параметрические методы не предполагается, т.е. будут использованы непараметрические методы, когда сложные вычисления статистических критериев нет возможности сделать.

[Евгений Машеров]

Александрович в сообщении #1410457 писал(а):

Чем больше значение коэффициента вариации, тем относительно больший разброс и меньшая выравненность исследуемых значений. Если коэффициент вариации меньше 10%, то изменчивость вариационного ряда принято считать незначительной, от 10% до 20% относится к средней, больше 20% и меньше 33% к значительной и если коэффициент вариации превышает 33%, то это говорит о неоднородности информации и необходимости исключения самых больших и самых маленьких значений.

Пытался найти первоисточник данной фразы, повторяемой дословно в разных местах. По-видимому, это цитация некоей авторитетной книги, но указать её не могу. По всей видимости, исходя из мест цитирования, это экономическая статистика. Предполагал, что это могут быть учебники Гмурмана или Романовского, но там коэффициент описан, но не указанные границы его значений, исходя из которых судят о выборке. У Гмурмана вообще "для сравнения величин, измеренных в разных шкалах", и всё.
То есть, как мне кажется, это рекомендация в некоей прикладной области, в котором она могла быть вполне оправданной, бездумно транслируемая авторами-компиляторами.

[Александрович]

Меня заинтересовало применение коэффициента вариации в целях диагностики. Не обязательно медицинской.
http://1pokrovi.ru/analizy-krovi/obshhi ... ropii.html