интервальная оценка дисперсии

[AndreyL]

Друзья! Есть у меня некоторое недоразумение. Интервальная оценки дисперсии строится из того, что статистика $\chi^2=\frac{s^2(n-1)}{\sigma^2}$ подчиняется распределению хи-квадрат с $n-1$ степенями свободы. Матожидание распределения хи-квадрат равно его степеням свободы, медиана же, в свою очередь, всегда чуть меньше матожидания, что и понятно, поскольку распределение несимметричное. Но тогда получается, что при небольших доверительных интервалах точечная оценка дисперсии не будет попадать в доверительный интервал. Например, 15%-ная интервальная оценка $\sigma^2$ при $n-1=5$ будет $[1.01506 s^2,1.30748 s^2]$ - нижняя граница интервальной оценки больше, чем точечная оценка. Не мог бы кто-нибудь разрешить это парадокс, когда точечная оценка, вокруг которой, вроде бы, должен строится доверительный интервал, не попадает в этот доверительный интервал.

[--mS--]

А кто заставляет брать квантили уровней $0,425$ и $0,575$? Возьмите несимметричные квантили. Например, уровней $0,153$ и $0,303$.

[AndreyL]

Никто не заставляет. Я могу с таким-же успехом взять квантили 0,903 и 0,753. Но как то у меня не укладывается в голове, что при выборе симметричных квантилей точечная оценка не попадает в интервал. В моем понимании, нужно вероятность попадания слева приравнять к вероятности попадания справа. Но при этом точечная оценка вылетает за пределы интервала.

[--mS--]

Потому и не попадает, что распределение несимметричное. Квантили берут обычно так, чтобы интервал получался наименьшим. Кто и где предписал брать их из иных соображений, не ведаю.

[AndreyL]

--mS-- в сообщении #788678 писал(а):

Квантили берут обычно так, чтобы интервал получался наименьшим.

А вот с этого момента можно чуть подробнее?

[--mS--]

Что именно? Моя фраза - чистой воды банальность. Очевидно, что если доверительных интервалов выбором квантилей может быть построено бесконечно много, следует по возможности выбирать самый короткий. Именно поэтому и берут симметричные квантили для симметричных распределений. Для хи-квадрат с большим числом степеней свободы выбор одинаковых вероятностей хвостов оправдан тем, что оно более-менее симметрично, и чем больше степеней, тем симметричнее. Для несимметричных распределений нет никакого смысла брать квантили таким же образом.

[AndreyL]

Но, тогда получится, что вероятность вылета в меньшую область не будет равна вероятности вылета в большую. К тому-же, даже в пределах доверительного интервала получится, что вероятность истинному значению принять значение больше точечной оценки не равна вероятности принять значение меньше той же точечной оценки. Пока не очень понятно.
Если я правильно Вас понял, то есть альтернатива в способе назначения граничных значений:
а) граничные значения определяются из соображений минимального интервала при заданной вероятности
б) граничные значения определяются из соображений равенства вероятности вылетов влево и вправо от доверительной области
Тогда возникает вопрос: чем тот или другой способ лучше и хуже? Второй вопрос: существуют ли какие-то иные мотивации для назначения граничных значений?

[--mS--]

Вы придумали себе какие-то правила и теперь не понимаете, почему они работают "неправильно". Есть альтернатива - отыскание несмещённых интервалов. Это когда вероятность интервалу накрывать правильное значение дисперсии больше, чем любое неправильное. Но вряд ли чем-то хороши правила из п.(б).

Например, "наиболее точный инвариантный несмещённый" доверительный интервал уровня доверия $0,15$ при $n-1=5$ будет при выборе квантилей с уровнями примерно $0,34$ и $0,34+0,15$. См., скажем, пример 2 параграфа 8 гл. 3 (стр.334) "Математической статистики" А.А.Боровкова и определения там же.

[AndreyL]

Тогда, прошу прощения, вопрос: а как формулируются правила для назначения границ доверительных интервалов? Если Вам будет не сложно, с объяснением именно этих правил.

[--mS--]

Сорри, отредактировала, не увидев Ваше сообщение.

Любые правила бывают после того, как сформулирована целевая функция. Если я хочу, чтобы у меня был самый короткий интервал, правило такое: интервал должен быть самым коротким. Если есть иные осмысленные пожелания к интервалу, их следует сначала сформулировать, после чего определять ими выбор квантилей. Вы сформулировали некоторое пожелание - чтобы вероятности хвостов были одинаковы. Зачем - неясно, если интервал, удовлетворяющий этому правилу, Вам заранее не годится.

Посмотрите, если так интересно, свойство несмещённости интервалов. Оно разумно, хоть и не даст самый короткий ДИ.

[Евгений Машеров]

У Вас фигурирует "точечная оценка дисперсии". Но она не единственна. Есть разные критерии, и разные оценки с их точки зрения оказываются оптимальны. Вы используете несмещённую оценку. Её матожидание равно истинному значению дисперсии. При этом Вы при построении доверительных интервалов разбиваете область определения значений на три части - левее левой границы доверительного интервала, доверительный интервал, правее правой границы. Матожидание оценки можно получить, как взвешенное среднее средних по этим интервалам, с весами, равными вероятности попадания в данный интервал. При этом "правый хвост длиннее", и среднее по правому интервалу отстоит куда дальше от общего среднего, чем среднее по левому. В результате при выбранной Вами малой вероятности попадания в доверительный интервал и равной вероятности попасть левее и правее доверительного интервала матожидание близко к простому среднему средних левее и правее Д.И., а "правое среднее" намного дальше уходит, чем левое.

[AndreyL]

Попробовал найти минимальный доверительный интервал уровня доверия $0,15$ при $n-1=5$, получился $\sigma^2 \in [0.734327 s^2,0.30748 s^2]$ - тоже не накрывает точечную оценку. Кстати, интервал с уровнями $0,34$ и $0,34+0,15$ получается $\sigma^2 \in [1.16853 s^2,1.53383 s^2]$.

Я не совсем понимаю условие инвариантного несмещенного критерия на стр. 335 Боровкова

$$\mathbf{M}(\chi^2_{n-1} ;h_{1;\varepsilon}<\chi^2_{n-1}<h_{2;\varepsilon})=(1-\varepsilon)\mathbf{M}(\chi^2_{n-1})$$

Если я правильно понимаю, то $\mathbf{M}(\chi^2_{n-1})=n-1$. Можно ли считать, что в левой части этого уравнения матожидание усеченного распределения хи-квадрат, умноженное на вероятность попадания в интервал от $h_{1;\varepsilon}$ до $h_{2;\varepsilon}$, т.е на тот же самый $1-\varepsilon$ из предыдущего условия?. Т.е., еще проще, матожидание распределения, усеченного выбранными квантилями должно быть равно матожиданию неусеченного распределения.

[--mS--]

Да-да, ровно так.

[AndreyL]

Спасибо! Тогда второй вопрос - существует ли аналитический способ (в идеале формула) позволяющий находить граничные квантили инвариантного несмещенного доверительного интервала?

[AndreyL]

И еще один вопрос. При равенстве дисперсий двух нормально-распределенных случайных величин $X$ и $Y$отношение оценок их дисперсий $f=\frac{s^2_X}{s^2_Y}$ подчиняется распределению Фишера c $N_X-1$ и $N_Y-1$ степенями свободы ($N_X$ и $N_Y$ - объемы выборок). Интуиция подсказывает, что при равенстве дисперсий отношение их оценок должно быть близко единице. Граничные квантили инвариантного несмещенного доверительного интервала критерия крутятся вокруг матожидания того распределения, которому подчиняется статистика. Но матожидание распределения Фишера равно $\frac{n}{n-2}$, где $n$- количество степеней свободы знаменятеля. Тогда, например, при $N_Y-1=3$ статистика $f$ должна быть близка не единице, а трем, вне зависимости от объема выборки $X$. Т.е. если оценка дисперсии по выборке $X$ ровно втрое превышает оценку дисперсии по выборке $Y$, то дисперсии равны на любом уровне значимости. Как то у меня это не укладывается.