Состоятельность выборочной дисперсии

[Otta]

Есть, нету... несмещенная выборочная дисперсия состоятельная оценка дисперсии, так же как и смещенная. Ей без разницы на распределение. Доказывается тривиально: состоятельность выборочной оценки (начального) момента, т.е. ЗБЧ + теорема Слуцкого.

И это очень известный факт. По крайней мере, мне не доводилось до сих пор видеть человека, "знающего" иначе.

[--mS--]

Ну как без разницы. Существование второго момента всё же желательно :)

[Otta]

(Оффтоп)

(Один мой знакомый лектор, устав от одергиваний аудитории, как-то не выдержал: "Запомните, если я пишу интеграл, значит, он существует" )

Да, конечно.

[Евгений Машеров]

Как я понял вопрос и почему я так понял.
Поскольку я не обращался к полному тексту учебников, а только к цитатам, я судил лишь о том, что непосредственно следовало из приведенного. В первой цитате сказано, что оценка дисперсии в случае ненормальности распределения может быть несостоятельной, в третьей даётся доказательство состоятельности. Но в предположении, что существуют первые два момента. То есть первое утверждение может быть верным в том смысле, что моменты нормального распределения заведомо существуют, а в отсутствие нормальности это не гарантировано, надо оговаривать их существование особо.
А распределения, у которых может не быть второго момента, не так давно из области экзотических контрпримеров перешли в весьма прикладную область - финансовую математику. Там долго довольствовались нормальным приближением для, например, "доходностей" (yields) - изменений логарифма цены, строя из этого расчётные формулы (например, для цены опционов). Однако оказывается, что вероятность больших отклонений, "тяжёлых хвостов", существенно выше, чем обещает нормальность. Так, дневная доходность индекса Standard&Poor (а он рассчитывается по большому количеству акций, то есть оснований ждать "нормальности" больше, чем у отдельной акции) в течение 62 лет (примерно 15 тысяч торговых дней) падала на 5% и более при стандартном отклонении 0.98% (т.е. на "5 сигм") 27 раз, почти 1:2000, хотя нормальная модель полагает, что это событие случается 1:3500000, а уж падение 19.10.1987 на 22.9% ("23 сигмы") и вовсе за гранью вероятного. Один из подходов для учёта этого - распределения Леви, куда лучше приближающие "тяжёлые хвосты" (разумеется, ограничение лишь устойчивыми распределениями это "поиск монетки под фонарём", вдали от фонаря вообще ничего не видно...). Но у них второй момент, вообщеговоря, бесконечен.
А формула для оценивания дисперсии, по которой вычисляется волатильность акции (собственно, волатильность это стандартное отклонение дневных доходностей, приведенное к году) совпадает с обычной оценкой дисперсии. И вопрос о том, является ли она состоятельной, если конечного второго момента нет, оказывается сугубо прикладным (насколько я понимаю - не является, и надо менять способ расчёта волатильности).

[Korvin]

Евгений Машеров в сообщении #1365350 писал(а):

Однако оказывается, что вероятность больших отклонений, "тяжёлых хвостов", существенно выше, чем обещает нормальность.

Точка зрения Яблонского, которую потом популяризировал Хайтун, что в физических процессах распределения сводятся к Гауссу, в социальных к Ципфу или степенным в более широком контексте, у которых хвосты тяжелые.

(Оффтоп)

Впрочем, 5 брокеров форекс лишены на днях лицензий, и одно из обвинений, что инвесторам транслировались не реальные котировки, а фейковые генерируемые программой индивидуально под ставку. Т.е. я играю на повышение, вы на понижение, а проигрываем оба. Впрочем, это всегда было известно - под утро всегда были особые выбросы котировок для снятия стопов.

[Otta]

Евгений Машеров в сообщении #1365350 писал(а):

Но в предположении, что существуют первые два момента. То есть первое утверждение может быть верным в том смысле, что моменты нормального распределения заведомо существуют, а в отсутствие нормальности это не гарантировано, надо оговаривать их существование особо.

То есть требование нормальности как термоядерный способ обеспечить наличие первых двух моментов.
Ну пуркуа бы и не па?

Только доказательство несмещенности тоже это самое наличие использует.

--------------------------------------------------

И так, чисто из соображений здравого смысла: есть ли смысл исследовать несмещенность, состоятельность и проч. оценки неизвестного параметра ГС, про который точно известно, что он не существует?

Совершенно отдельно:
А по-другому (статистика все-таки): если неизвестно, существует он или нет? Кстати, надо придумать пример. Может, у кого-то есть?

[Евгений Машеров]

Otta в сообщении #1365354 писал(а):

И так, чисто из соображений здравого смысла: есть ли смысл исследовать несмещенность, состоятельность и проч. оценки неизвестного параметра ГС, про который точно известно, что он не существует?

Цитата:

– Г-голубчики, – сказал Федор Симеонович озадаченно, разобравшись в почерках. – Это же п-проблема Бен Б-бецалеля. К-калиостро же доказал, что она н-не имеет р-решения.

– Мы сами знаем, что она не имеет решения, – сказал Хунта, немедленно ощетиниваясь. – Мы хотим знать, как ее решать.

– К-как-то ты странно рассуждаешь, К-кристо... К-как же искать решение, к-когда его нет? Б-бессмыслица какая-то...

– Извини, Теодор, но это ты очень странно рассуждаешь. Бессмыслица – искать решение, если оно и так есть. Речь идет о том, как поступать с задачей, которая решения не имеет. Это глубоко принципиальный вопрос, который, как я вижу, тебе, прикладнику, к сожалению, не доступен. По-моему, я напрасно начал с тобой беседовать на эту тему.

Только вот тут обратная картина. Есть общепринятый метод расчёта практически важного показателя (волатильности). И вопрос о том, что делать, если выпадает ключевое предположение, что моменты существуют - искать иное приближение для ненормального реально наблюдаемого распределения, у которого хотя бы первые два момента конечны (а лучше 4, чтобы можно было точность его оценки как-то оценивать), или внедрять иной способ оценки "меры разброса", не требующий конечности моментов (ну, там САО, где конечности второго не надо, хватит конечности первого абсолютного, или семиинтерквартильное расстояние, которое, впрочем, вообще "хвостов не видит", или какой-нибудь "баттхедбивес" по Тьюки с Мостеллером), или вообще не делать ничего, "и так сойдёт", невзирая на потерю состоятельности.
Перефразируя Сталина - "все три хуже"...

-- 02 янв 2019, 09:21 --

Otta в сообщении #1365354 писал(а):

То есть требование нормальности как термоядерный способ обеспечить наличие первых двух моментов.

"Будьте реалистами - требуйте невозможного!" (лозунг бунтующих парижских студентов в 1968).

Впрочем, тут скорее "пиши в заявке вдвое-втрое нужного, чтобы хоть что-то дали"...

[Otta]

Евгений Машеров в сообщении #1365355 писал(а):

Цитата:

– Мы сами знаем, что она не имеет решения, – сказал Хунта, немедленно ощетиниваясь. – Мы хотим знать, как ее решать.

Евгений Машеров
Если это к последнему моему вопросу - то понятно.
Потому что "выпадает предположение" на моем французском = "нет сведений".
То есть вопрос последний.

Или это все-таки Вы про отсутствие моментов?
(Вы меня извините, я, может, торможу.)

[Korvin]

Otta в сообщении #1365354 писал(а):

И так, чисто из соображений здравого смысла: есть ли смысл исследовать несмещенность, состоятельность и проч. оценки неизвестного параметра ГС, про который точно известно, что он не существует?

Напоминает анекдот, пересказанный лингвистом Араповым М.В., когда речь шла об оценке параметра словаря - предельного числа слов, оцениваемого по конечному тексту исходя из перспектив его развития и продолжения. (Скажем. есть продолжения и Онегина, и Карениной, и даже Войны и мира). Анекдот таков:

- Вам газировку с каким сиропом - яблочным или грушевым?
- Мне без сиропа.
- А без какого сиропа - яблочного или грушевого?

[Евгений Машеров]

Otta в сообщении #1365354 писал(а):

А по-другому (статистика все-таки): если неизвестно, существует он или нет? Кстати, надо придумать пример. Может, у кого-то есть?

Ну, собственно, эти самые распределения Леви, устойчивые. Которые при $\alpha=2$ переходят в нормальные, а при других значениях параметра второго момента не имеют. И как тут жить?

[dsge]

Otta в сообщении #1365354 писал(а):

если неизвестно, существует он или нет? Кстати, надо придумать пример. Может, у кого-то есть?

Подгоните Студента без 2-го момента ($n \leq 2$), т.е. с тяаажелым хвостом.

[fan_of_algoritms]

Если дисперсия не сходится в смысле генеральной совокупности, или ГС вообще неизвестна или не существует, то для дисперсии просто вводят какую-то вероятностную меру и оценивают ее как СВ с какой-то ошибкой. В такой интерпретации второй момент существует всегда. Но это уже численные методы.

[Евгений Машеров]

fan_of_algoritms в сообщении #1365433 писал(а):

Если дисперсия не сходится в смысле генеральной совокупности, или ГС вообще неизвестна или не существует, то для дисперсии просто вводят какую-то вероятностную меру и оценивают ее как СВ с какой-то ошибкой. В такой интерпретации второй момент существует всегда. Но это уже численные методы.

Ппппереведи!

[ozheredov]

Евгений Машеров в сообщении #1365437 писал(а):

Ппппереведи!

П-п-перевожу: он имеет в виду извлечение информации о плотности распределения выборочной дисперсии как СВ -- авось эта плотность обладает некоторыми удобными свойствами (нет). Другой вопрос: имеет ли смысл это делать?

[fan_of_algoritms]

ozheredov в сообщении #1365439 писал(а):

Евгений Машеров в сообщении #1365437 писал(а):

Ппппереведи!

П-п-перевожу: он имеет в виду извлечение информации о плотности распределения выборочной дисперсии как СВ -- авось эта плотность обладает некоторыми удобными свойствами (нет). Другой вопрос: имеет ли смысл это делать?

Да, спасибо, как вариант.