Доверительный интервал для стандартного отклонения

[igor_ivanov]

Пусть имеется $n=3$ реализации случайной величины $X$, распределённой по нормальному закону. Выборочное стандартное отклонение $S=1$.
Из теории известно, что доверительный интервал для стандартного отклонения равен $\sqrt{\frac{ (n-1) \cdot S^{2} }{\chi ^{2}(1-\frac{\alpha }{ 2 },n-1)}} \leqslant \sigma \leqslant \sqrt{\frac{ (n-1) \cdot S^{2} }{ \chi^{2}(\frac{\alpha }{ 2 },n-1)}}$. При $\alpha=0.05$ имеем $0.521 \leqslant \sigma \leqslant 6.285$.

Задача в том, чтобы путём математического моделирования получить распределение стандартного отклонения внутри данного интервала.

Попытка решения. Для $n=3$ при заданных $\mu$ и $\sigma$ я сгенерировал $M=10^{6}$ выборок случайной величины $X$. Для каждой выборки рассчитал выборочное стандартное отклонение $S$ и нашёл количество выборок с $S=1$. Построил зависимость $P(\sigma)$ при $S=1$ и нормировал значения, чтобы их сумма была равна единице. Но это оказалось не то, что нужно: полученная зависимость не совпадает с теоретической. Что я сделал не так?

Ещё один вопрос. Пусть по экспериментальным данным для $n=3$ и $S=1$ имеем $0.521 \leqslant \sigma \leqslant 6.285$, но из некоторых теоретических соображений известно, что $0.8 \leqslant \sigma \leqslant 5$. Можно ли эту информацию как-то учесть при построении доверительного для $\sigma$? К примеру, обрубить интервал для $\sigma$ с концов и нормировать, чтобы сумма значений была равна единице; а после каким-то образом скорректировать интервал для $\mu$.

[Geen]

igor_ivanov в сообщении #1424882 писал(а):

Построил зависимость $P(\sigma)$ при $S=1$ и нормировал значения, чтобы их сумма была равна единице.

А как распределены $\mu$ и $\sigma$?..

-- 09.11.2019, 23:52 --

igor_ivanov в сообщении #1424882 писал(а):

нашёл количество выборок с $S=1$.

Кстати, а как Вам удалось найти хоть одну?

[igor_ivanov]

Geen в сообщении #1424942 писал(а):

А как распределены $\mu$ и $\sigma$?..

Распределение $P(\sigma)$ при $n=3$ и $S=1$, которое я получил, см. в файле.
С распределением $P(\mu)$ я ещё не заморачивался.

Geen в сообщении #1424942 писал(а):

Кстати, а как Вам удалось найти хоть одну?

Для $\sigma=1$:

1) генерирую три норм. распр. случ. величины $X$;
2) рассчитываю выборочное станд. откл. $S$;
3) повторяю п. 1-2 $10^{6}$ раз;
4) подсчитываю количество выборок с $0.99 < S < 1.01$.

Затем с определённым шагом (например, 0.01) меняю $\sigma$ и выполняю п. 1-4. Таким образом, получаю распределение $P(\sigma)$ при $n=3$ и $S=1$ в заданном интервале $\sigma$.

Я тут подумал, что все вышеперечисленные манипуляции я делаю при фиксированном $\mu=100$. Возможно, в этом ошибка.

[--mS--]

(Оффтоп)

Кто-нибудь понимает, что происходит?

Что такое $P(\sigma)$? О каком распределении $\sigma$ идёт речь, если $\sigma$ - это константа? Какое отношение $\mathsf P_{\mu,\sigma}(0.99\leq S\leq 1.01)=e^{-0.99^2/\sigma^2}-e^{-1.01^2/\sigma^2}$, которую Вы подсчитываете с помощью частоты, имеет к "распределению $\sigma$" и к заданному доверительному интервалу? При чём тут вообще $\mu$, если от него $S$ не зависит никак?

[Lia]

--mS-- в сообщении #1424984 писал(а):

Кто-нибудь понимает, что происходит?

Я даже и пытаться не стала. Как дочитала до $n=3$, так меня и переклинило.

[Geen]

igor_ivanov в сообщении #1424978 писал(а):

подсчитываю количество выборок с $0.99 < S < 1.01$.

А почему одна сотая? а не десятая или тысячная? Вы уверены, что от этого ничего не зависит?

igor_ivanov в сообщении #1424978 писал(а):

Затем с определённым шагом (например, 0.01) меняю $\sigma$ и выполняю п. 1-4. Таким образом, получаю распределение $P(\sigma)$ при $n=3$ и $S=1$ в заданном интервале $\sigma$.

Нет. Вы получаете нечто, зависящее "от определённого шага" (и диапазона).
Но кстати, а что Вы называете "теоретической $P(\sigma)$?

[igor_ivanov]

--mS-- в сообщении #1424984 писал(а):

Что такое $P(\sigma)$? О каком распределении $\sigma$ идёт речь, если $\sigma$ - это константа?

$\sigma$ – константа, значение которой нужно оценить. $P(\sigma)$ – вероятность того, что константа $\sigma$ равна заданному числу (интервалу значений) при данных n и S. Иными словами, $P(\sigma)$ – вероятностная оценка параметра $\sigma$.

Geen в сообщении #1424998 писал(а):

А почему одна сотая? а не десятая или тысячная? Вы уверены, что от этого ничего не зависит?

Чем меньше интервал, тем больше должно быть количество сгенерированных выборок для получения графика без сильных флуктуаций. По моим наблюдениям изменение интервала не играет роли – графики после нормировки совпадают.

Geen в сообщении #1424998 писал(а):

что Вы называете "теоретической $P(\sigma)$

Предположим, что величина $\sigma$ с вероятностью близкой к $100 \%$ попадает в интервал $[0.3 ; 50]$ – это вполне обоснованное предположение. Заполним интервал данными. Аппроксимируем подходящей функцией. И посмотрим какой процент площади под функцией попадает в интервал $[0.521 ; 6.285]$. В теории должно быть $95 \%$. У меня получается около $82 \%$. Вывод – я неправильно смоделировал функцию.

[Geen]

igor_ivanov в сообщении #1425025 писал(а):

$\sigma$ – константа, значение которой нужно оценить. $P(\sigma)$ – вероятность того, что константа $\sigma$ равна заданному числу

Вы уж определитесь - либо константа, либо случайная величина.
И если второе, то, пожалуйста, напишите подробно как "теоретически" определяется "вероятность..."

[igor_ivanov]

Geen в сообщении #1425033 писал(а):

Вы уж определитесь - либо константа, либо случайная величина.

Мы явно друг друга не понимаем. Возможно потому, что я неправильно интерпретирую формулы в моём первом посте: $\sqrt{\frac{ (n-1) \cdot S^{2} }{\chi ^{2}(1-\frac{\alpha }{ 2 },n-1)}} \leqslant \sigma \leqslant \sqrt{\frac{ (n-1) \cdot S^{2} }{ \chi^{2}(\frac{\alpha }{ 2 },n-1)}}$ и $0.521 \leqslant \sigma \leqslant 6.285$.
С моей точки зрения, из последней формулы следует, что с $P=2.5 \% $ $\sigma \in (0 ; 0.521)$, с $P=95 \% $ $\sigma \in [0.521 ; 6.285]$, с $P=2.5 \% $ $\sigma \in (6.285; \infty)$. Эти интервалы я называю вероятностной оценкой параметра $\sigma$. Если моя интерпретация неправильная, прошу привести правильную.

[--mS--]

Не знаю, удастся ли мне быть достаточно убедительной.

Ваша интерпретация доверительного интервала неправильная. Параметр $\sigma$ не является случайной величиной. Случайными величинами являются границы доверительного интервала (до тех пор, пока вместо случайной величины $S$ не подставлено её значение на данной числовой выборке). Поэтому вероятность того, что доверительный интервал со случайными концами $X=\sqrt{\frac{(n-1)S^2}{h_2}}$ и $Y=\sqrt{\frac{(n-1)S^2}{h_1}}$, где $h_i$ - соответствующие квантили распределения хи-квадрат, накроет неизвестное числовое значение $\sigma$, т.е. вероятность, что случайная величина $X$ будет меньше числа $\sigma$, а случайная величина $Y$ -- больше числа $\sigma$, равна $0.95$.

После того, как стало известно, что $S=1$, случайных величин под знаком вероятности не осталось. Остались вычисленные значения случайных величин $X$ и $Y$ на данной реализации выборки. Писать после этого $\mathsf P(0.521\leq \sigma \leq 6.285)=0.95$ не только неверно, но просто бессмысленно. Одно число либо лежит меж двух других, либо нет, и вероятность ему это делать либо $1$, либо $0$. Вот и сигма либо лежит между $0.521$ и $6.285$, либо не лежит. Сказать что-либо более точное невозможно.

Трактовать на частотном языке ДИ можно до тех пор, пока его границы остаются величинами случайными: из многих-многих числовых выборок, полученных из нормального распределения с одной и той же дисперсией $\sigma^2$, примерно у $95\%$ выборок значение случайной величины $S^2$ будет таково, что $\sqrt{\frac{(n-1)S^2}{h_2}}\leq \sigma\leq \sqrt{\frac{(n-1)S^2}{h_1}}$.

И в этом смысле полученный ДИ от $0.521$ до $6.285$ допускает следующую трактовку: мы действовали согласно процедуре, по которой в 95 процентах случаев доверительный интервал накроет наше сигма. Накроет ли он его в нашем единичном эксперименте - неизвестно, но остаётся надеяться, что событие редкой вероятности $0.05$ не реализовалось, и наше сигма действительно заключено в данных границах.

(Оффтоп)

Ставить вопрос о том, какое распределение имеет $\sigma$ при данном значении $S^2$ возможно лишь байесовском случае, когда изначально $\sigma$ есть случайная величина с заданным априорным распределением, которое уточняется по результатам эксперимента и получается апостериорное значение $\sigma^*=\mathsf E(\sigma\,|\,S^2)$. Поэтому Вас и допрашивали долго про исходное распределение $\sigma$, подозревая байесовскую постановку.

[igor_ivanov]

--mS-- в сообщении #1425070 писал(а):

Ваша интерпретация доверительного интервала неправильная.

Мне понравилось, что Вы написали. Но я не всё понял. Нужно время на осмысление.

Пока читал, в голову пришло условие задачи на фиксированный параметр и его вероятностную оценку: в урне пять шаров, среди которых, не менее одного белого, остальные – чёрные; из урны извлекли два шара, которые оказались чёрными; оценить количество белых шаров в урне; решением будет функция $P(N)$ – вероятность того, что количество белых шаров равно $N$. Таким образом, для неслучайной величины была получена её вероятностная оценка.

[upgrade]

igor_ivanov Вы так делаете?:
берете большое число выборок
вычисляете для каждой сигму
считаете сколько сигм из вычисленных попало в интервал $\mathsf P(0.521\leq \sigma \leq 6.285)$
ожидаете, что $95\%$ сигм попало в этот интервал, а попадает $82\%$
а $n=3$ как "реализация случайной величины" - это что?

[Otta]

igor_ivanov в сообщении #1425092 писал(а):

Пока читал, в голову пришло условие задачи на фиксированный параметр и его вероятностную оценку: в урне пять шаров, среди которых, не менее одного белого, остальные – чёрные; из урны извлекли два шара, которые оказались чёрными; оценить количество белых шаров в урне; решением будет функция $P(N)$ – вероятность того, что количество белых шаров равно $N$. Таким образом, для неслучайной величины была получена её вероятностная оценка.

С чего это вдруг она неслучайная?
Определитесь с постановкой задачи: либо $N$ фиксировано (неслучайно), т.е. дано, тогда вероятность чего мы оцениваем? она либо 0, либо 1.
Либо же нет. Тогда весь остальной текст имеет смысл, но величина случайная.

[igor_ivanov]

upgrade в сообщении #1425094 писал(а):

Вы так делаете?

Не так. В третьем посте написано как.

upgrade в сообщении #1425094 писал(а):

берете большое число выборок, вычисляете для каждой сигму

Для выборок я вычисляю выборочное стандартное отклонение $S$, а не $\sigma$.

upgrade в сообщении #1425094 писал(а):

$n=3$ как "реализация случайной величины" - это что?

Фраза "три реализации случайной величины" означает "Дана выборка значений случайной величины объёма три".

-- 10.11.2019, 22:10 --

Otta в сообщении #1425096 писал(а):

либо $N$ фиксировано (неслучайно), т.е. дано, тогда вероятность чего мы оцениваем?

Число белых шаров в урне $N$ – фиксировано, неслучайно, неизвестно. И ещё есть оценка числа белых шаров в урне $P(N)$: белых шаров ноль с вероятностью $P(0)=P(4)=P(5)=0$, белых шаров один с вероятностью $P(1)=...$, белых шаров два с вероятностью $P(2)=...$, белых шаров три с вероятностью $P(3)=...$

[Geen]

igor_ivanov в сообщении #1425099 писал(а):

белых шаров один с вероятностью

И что Вы в данном случае называете вероятностью??
Вот я Вам дал миллион урн с одним белым шаром...
Или полмиллиона урн с одним белым и полмиллиона - с двумя...
Или одну урну с одним, одну урну с двумя и миллион с тремя....