Смысл моментов в формулах асимметрии, эксцесса и вариации

[_nobody]

Добрый день.

Как известно, для случайной величины $X$ (пусть у нее существуют требуемые моменты) определяют такие числовые характеристики, как коэффициент асимметрии $\gamma_1=\frac{\mu_3}{\sigma^3}$, коэффициент эксцесса $\gamma_2=\frac{\mu_4}{\sigma^4}-3$ и коэффициент вариации $V=\frac{\sigma}{\mathrm{M}X}$, где $\mu_k=\mathrm{M}\left[\left(X-\mathrm{M}X\right)^k\right]$ — центральный момент $k$-ого порядка, $\sigma=\sqrt{\mathrm{D}X}=\sqrt{\mathrm{M}\left[\left(X-\mathrm{M}X\right)^2\right]}$ — среднеквадратическое отклонение.

Везде пишут смысл этих коэффициентов:

• коэффициент асимметрии — мера асимметричности: $\gamma_1=0$ в случае симметричности распределения относительно мат.ожидания, $\gamma_1<0$ в случае левой асимметрии (отн. мат.ожидания левый хвост длиннее правого), $\gamma_1>0$ в случае правой асимметрии (отн. мат.ожидания правый хвост длиннее левого),
• коэффициент эксцесса — мера остроты пика по сравнению с нормальным распределением: $\gamma_2=0$ в случае так называемого нормального эксцесса (в силу того, что у нормального распределения тоже $\gamma_2=0$), $\gamma_2<0$ в случае дефекта (т.н. отрицательный эксцесс, когда в окрестности моды более низкая и плоская вершина, чем у нормального распределения), $\gamma_2>0$ в случае эксцесса (т.н. положительный эксцесс, когда в окрестности моды более острый и высокий пик, чем у нормального распределения), хотя приведенная интерпретация не всегда верна.
• коэффициент вариации — еще одна (в списке: дисперсия, СКО, разброс, интерквартильный разборс и др.) мера рассеивания, разбросанности.

Но мне не доводилось встречать, где бы было описано, почему в формулах выбраны именно такие моменты и именно таких порядков, почему берется именно отношение этих моментов, а не другая операция? Может, есть какие книги, где об этом рассказывалось?

[Евгений Машеров]

Неполный ответ.
Моменты первого и второго порядка используются широко, и достаточно информативны. Поэтому возникает желание получить дополнительную информацию, используя моменты более высоких порядков. Однако, чем выше порядок момента, тем более существенно на него влияют экстремальные значения.
(достаточно условный пример - выборка [-1,-1,-1,-1,-1, 5] со средним 0, первые пять слагаемых входят в выражение для моментов, как +1 или -1, но последнее во второй момент вкладывает 25, третий 125, четвёртый 625, пятый 3125, шестой 15625 и т.д, совершенно нивелируя влияние прочих элементов выборки; чем больше выборка, тем менее это пагубно, но для реально достижимых выборок вычисленные моменты порядка выше четвёртого не слишком осмыслены, единственное большое отклонение их может совершенно исказить)
Хотя моменты более высоких порядков иногда пытались использовать, к хорошему это не приводило (скажем, предложенный в конце XIX века метод разделения смеси двух нормальных совокупностей, использовавший моменты до пятого включительно, оказался столь чувствителен к погрешностям, что известный криминалист Бертильон, применив его к выборке измерений роста, пришёл к выводу, что французский народ состоит из двух несмешавшихся рас, с дальнейшими выводами социально-политического характера, хотя дело было всего лишь в неточностях округления границ интервалов). Даже третий, тем более четвёртый, при выборках менее сотен объёмом практической ценности не имеют (это, разумеется, лишь моё частное мнение, основанное на некотором опыте).
Момент, вычисленный по размерной величине, также имеет размерность. Причём её интерпретировать довольно трудно. Даже для дисперсии труднообъяснимы "квадратные рубли", "квадратные килограммы" или "квадратные миллимоли", а "квадратные метры" ещё хуже, поскольку возникает соблазн спутать их с площадью. А уж возникающие в моментах высшего порядка третьи, четвёртые и т.д. степени размерностей вовсе непостижимы разумом. Тут есть два пути - перейти к безразмерной величине, разделив на величину той же размерности, или перейти к величине понятной нам размерности, в частности, совпадающей с размерностью исходной величины (для чего можно, к примеру, извлечь корень соответственной степени). Поскольку "разброс" мы умеем измерить дисперсией (и корнем из неё, среднеквадратичным отклонением, то есть используем второй из названных подходов), высшие моменты мы привлекаем для описания формы распределения. А поскольку форма есть нечто безразмерное (форма легкового автомобиля, детского педального автомобильчика и коллекционной модели этого авто может быть одинакова, при весьма разных размерах), то первый подход интереснее. Характеристика формы должна не зависеть от положения центра распределения (выполнено, поскольку мы используем центральные моменты) и от разброса значений (в частности, замена единицы измерения, скажем, метров на футы, не должна менять форму, а разброс должен меняться пропорционально соотношению единиц). Для последнего проще всего делить высший момент (в который масштабный коэффициент входит в степени, равной порядку момента) на среднеквадратичное отклонение (в которое масштабный коэффициент входит в первой степени), возведённое в степень, равную порядку момента в числителе. Идя таким путём, мы и приходим к коэффициентам асимметрии и эксцесса (тут надо иметь в виду, что для нормального распределения отношение четвёртого момента к квадрату второго имеет матожидание 3, и для такого отношения был предложен термин "куртозис", а эксцесс это превышение куртозиса над его значением для нормального распределения, отсюда -3 в формуле и самоё слово "эксцесс" - "превышение").
Разумеется, это не единственные меры скошенности и "островершинности" распределений. Просто исторически первые.
Что до коэффициента вариации - это также попытка получить безразмерную величину, показывающую, насколько далеко от центра распределения могут быть разбросаны значения. Практическая важность этого вопроса объясняет широкое использование этого коэффициента, несмотря на его не слишком красивые теоретические свойства (хотя, скажем, для логнормального распределения, в отличие от нормального, он достаточно естественен).

[ИСН]

Как обычно: можете выбрать любые другие моменты (что это такое, кстати?) любых других порядков и посмотреть, что получится. Например, центральный момент восьмого порядка, наверное, будет служить неплохой мерой разброса (вместо дисперсии), только его считать дольше.
Ну и с отношением то же самое: попробуйте взять другую операцию, вот хоть разность. Хрень вышла? Так отож.
Про роль размерности Евгений Машеров раскрыл тему чуть более, чем полностью.

[Евгений Машеров]

Можно придумать распределение, для которого наилучшая оценка разброса будет именно восьмой момент. Но оно будет довольно экзотично, причём для нормального распределения такая оценка будет весьма нехороша. На неё будут слишком сильно влиять редкие большие наблюдения. Простой численный эксперимент (сгенерировано 50 нормально распределённых случайных величин, получена оценка стандартного отклонения через 2й и 8й моменты, и оценки сравнены) показал, что разброс оценок через 8-й момент примерно впятеро выше.
С другой стороны, можно оценивать разброс через первый абсолютный момент, оценку, оптимальную для двустороннего распределения Лапласа (если за оценку положения брать медиану), и такая оценка в случае нормального распределения неоптимальна, но разумна. Иногда её рекомендуют при "загрязнённом нормальном", то есть основная масса наблюдений принадлежит к нормальному, а небольшое число к иному, или хотя бы к нормальному, но дисперсия существенно выше (такие наблюдения можно интерпретировать, как "грубые ошибки", или же как "влияние неучтённых и редко проявляющихся факторов").

[Евгений Машеров]

(Оффтоп)

О коэффициентах положения, масштаба и формы...

[_nobody]

Огромное спасибо!
Начальные сведения получены.
Следующий шаг — конкретизация.

Коэффициент асимметрии: почему в числителе взят именно третий момент, а не первый? Ведь тоже нечетной степени, что будет говорить о мере симметричности, т.е. почему бы не рассматривать $\frac{\mathrm{M}X}{\sigma}$ (к слову, обратен коэффициенту вариации)? А, видимо, если взять в числителе именно центральный момент первого порядка, то коэффициент всегда будет равен 1, а если просто мат.ожидание — то вроде как ничего такого, связанного с симметрией, не получается. Зато ведь можно рассматривать не центральный момент первого или третьего порядка, а "центральный медианный момент" (когда при вычислении вычитается не мат.ожидание, а медиана), тогда будет мера симметричности относительно медианы: $\frac{(\mathrm{M}[X-\nu])^n}{\sigma^n}$, где $\nu$ — медиана для $X$ и $n\in\{1,3\}$, ведь действительно будет мера симметричности относительно медианы, да?

Коэффициент эксцесса: почему поначалу считалось, что это мера остроты (а после вычитания тройки — мера остроты по сравнению с нормальным распределением)? За счет момента не слишком маленького и не слишком большого четного порядка в числителе?

Коэффициент вариации: каков смысл делить среднеквадратичное отклонение на математическое ожидание (кроме соображений размерности есть еще какие-то причины?) — почему это все равно мера разброса? Тем более мат. ожидание может быть вообще любым — как огромным (может очень сильно уменьшать коэффициент), очень маленьким (может очень сильно увеличивать коэффициент), так и нулевым (делать коэффициент "бесконечным").

[Евгений Машеров]

1. Потому, что нас интересует форма, а не положение. Если мы прибавим к отсчётам константу (скажем, от градусов Цельсия перейдём к Кельвину), форма распределения не изменится, оно просто сдвинется. Первый момент, однако, изменится.
2. Сравнивали распределения с одинаковой дисперсией, но разной формы. Увеличить "хвосты", сохранив ту же дисперсию, можно, увеличив долю близких к центру наблюдений. Т.е. при равной дисперсии "тяжёлые хвосты" и "острая вершина" появляются одновременно. На графике отличить убывание "хвостов" быстрое, как у нормального, или медленное, визуально трудно, кривые слишком прилегают к оси Х в обоих случаях. А острота вершины заметнее. Да и появилась она, когда сперва рисовали гистограммы, а уж потом считали моменты. Хотя практически, ИМХО, важны именно "тяжёлые хвосты".
3. Потому, что это нормированная мера разброса. В относительных величинах. "Гарантируете точность? - ну, мелкие погрешности могут быть... - Насколько мелкие?! - 2-3%, не больше! - Тогда сойдёт..."

[Mihaylo]

Тема старая, но на всякий случай сообщу о своих мыслях. Допустим имеется $n$ случайных чисел.
1. Если известен первый момент (среднее), то можно вычислить сумму $n$ чисел.
2. Если известны первый и второй моменты (среднее и дисперсия), то можно найти сумму $n$ чисел и сумму квадратов $n$ чисел.
3. Если еще вдобавок известен третий момент, то можно еще вычислить сумму кубов $n$ чисел.
4. По первым четырем моментам вычисляются суммы первой-четвертой степеней.
5. И так далее.

То есть можно говорить об однозначном соответствии моментов и сумм степеней чисел. Суммы степеней чисел - это интегральные характеристики массива чисел. Эти интегральные характеристики несут некоторую обобщенную (интегральную) информацию о массиве чисел. В одной из тем я пытался вычислить количество информации, но пока получены формулы только для количества информации, которую скрывает в себе первый момент (среднее). Дальше - сложности, с которыми мне пока трудно справиться.

[levtsn]

Чтобы видеть тонкие хвосты поможет логарифмическая ось у.
Куртозис применяется в моей практике для генерирования случайной вибрации, так как там в моделируемой вибрации бываюто негаусовские распределения. Стандартно же задают только мощность и спектр, выдавая гауссовскую амплитудной распределение.

[Евгений Машеров]

Логарифмическая ось спасает при графике теоретического распределения, но не гистограммы. Там на хвостах малые значения, и их вариабельность слишком высока. А если вдруг в ячейке ноль - успехов в логарифмировании!

[Deggial]

Обсуждение поста Mihaylo, соотношения теорвера, комбинаторики и информации выделено в отдельную тему. Убедительная просьба продолжать его там.