Доверительный интервал для стандартного отклонения

[--mS--]

igor_ivanov в сообщении #1425221 писал(а):

Корректно ли сформулирована данная задача? Если да, правильно ли моё решение: $P(1)=0.6, P(2)=0.3, P(3)=0.1$?

Правилен ответ, а не решение. Если все априорные вероятности одинаковы (по $1/3$), то по формуле Байеса

$$ \mathsf P(N \text{ белых}|\text{достали } 2 \text{ чёрных}) = \dfrac{\frac13 \mathsf P(\text{достали } 2 \text{ чёрных} | N \text{ белых})}{\sum_{N=1}^3\frac13 \mathsf P(\text{достали } 2 \text{ чёрных} | N \text{ белых})}, $$

что совпадает с $\mathsf P(\text{достали } 2 \text{ чёрных} | N \text{ белых})$ просто потому, что $1/3$ сокращается и сумма условных вероятностей в знаменателе оказывается равна единице. То же самое будет, если Вы перенормируете вероятности, поделив каждую на сумму условных вероятностей. Но тотчас перестанет давать правильный ответ, стоит априорным вероятностям начать отличаться друг от друга. Возьмите 98 урн с двумя чёрными шарами, и по одной с тремя и четырьмя и убедитесь.

Ещё раз: между $\mathsf P(N \text{ белых}|\text{достали } 2 \text{ чёрных})$ и $\mathsf P(\text{достали } 2 \text{ чёрных}| N \text{ белых})$ разница такая же, как вообще между $\mathsf P(A|B)$ и $\mathsf P(B|A)$.

[igor_ivanov]

--mS-- в сообщении #1425241 писал(а):

Возьмите 98 урн с двумя чёрными шарами, и по одной с тремя и четырьмя и убедитесь.

Правильно ли рассчитаны эти вероятности:

$P(1)=\frac{1\cdot0.6}{1\cdot0.6+1\cdot0.3+98\cdot0.1}=0.0561$, $P(2)=\frac{1\cdot0.3}{1\cdot0.6+1\cdot0.3+98\cdot0.1}=0.0280$, $P(3)=\frac{98\cdot0.1}{1\cdot0.6+1\cdot0.3+98\cdot0.1}=0.9159$

[upgrade]

igor_ivanov в сообщении #1425025 писал(а):

И посмотрим какой процент площади под функцией попадает в интервал $[0.521 ; 6.285]$. В теории должно быть $95 \%$. У меня получается около $82 \%$.

Вы меняете сигму и у вас получаются $S$ для разных распределений, и одновременно интервал, в котором вы считаете $S$ - один и тот же. Естественно, количество попадающих в этот интервал значений $S$ будет отличаться от распределения к распределению, и снова естественно вы находите не куда попадает сигма, а какой-то интегральный показатель для $S$ (скажем, изменяя шаг он будет уже другой, ну а как по-другому, вы же начинаете суммировать бОльшие количества $S$). Как-то так видимо.

[--mS--]

igor_ivanov в сообщении #1425274 писал(а):

Правильно ли рассчитаны эти вероятности:

Да, конечно. Для случая, когда априорные вероятности иметь $1$, $2$, $3$ белых шара в урне будут $0.01$, $0.01$ и $0.98$ соответственно.

[igor_ivanov]

Тогда вернёмся к вопросу про доверительный интервал. Рассмотрим следующую задачу.

Брусок неизвестной массы $\mu$ взвесили $N$ раз, получив оценки массы $x(\mu, \sigma)$ и среднюю оценку массы $X$.
Случайная нормально распределённая величина $x(\mu, \sigma)$ имеет матожидание $\mu$ и стандартное отклонение $\sigma$.
До начала опытов по взвешиванию $\mu$ и $\sigma$ были случайным образом выбраны из генеральных совокупностей с плотностями $P(\mu)$ и $P(\sigma)$ соответственно. В процессе опытов $\mu$ и $\sigma$ фиксированы.
Построить оценки плотностей $P(\mu)$ и $P(\sigma)$.

Вопросы:
1) корректно ли поставлена задача?
2) это байесовская постановка задачи?
3) если известно, что величина $x$ нормально распределена, можно ли что-то определённое сказать про плотности $P(\mu)$ и $P(\sigma)$, например, выписать формулы для них?
4) если на $\mu$ и $\sigma$ наложены ограничения снизу и сверху, можно ли на основе этого скорректировать оценки для $\mu$ и $\sigma$, а также для $P(\mu)$ и $P(\sigma)$?

[--mS--]

Нет, это не байсовская постановка задачи. Если параметры суть случайные величины, их плотности распределения должны быть заранее заданы и известны. Как у Вас с урной заранее заданы и известны вероятности того, что исходно в урне $N$ шаров. И тогда по выборке можно посчитать оценку для реального значения параметров.

Схема такая: сначала из распределений с данными плотностями генерируются $\mu$ и $\sigma$, получаются два числа. Потом из нормального распределения с этими параметрами генерируется выборка, потом по ней находятся оценки для этих двух чисел. Всё.

Ваши попытки придать смысл тому, что Вы делаете в первом сообщении, бесполезны. Ещё раз повторю: Вы вычисляете при данных $\mu$ и $\sigma$ следующую вероятность, которая может быть явно выписана:

--mS-- в сообщении #1424984 писал(а):

$\mathsf P_{\mu,\sigma}(0.99\leq S\leq 1.01)=e^{-0.99^2/\sigma^2}-e^{-1.01^2/\sigma^2}$

Причём вычисляете с помощью частот, и судя по гигантским расхождениям с теоретической вероятностью, что-то делаете неправильно.

[igor_ivanov]

--mS-- в сообщении #1424984 писал(а):

$\mathsf P_{\mu,\sigma}(0.99\leq S\leq 1.01)=e^{-0.99^2/\sigma^2}-e^{-1.01^2/\sigma^2}$

Результаты расчёта по данной формуле совпадают с результатами статистического моделирования, которое делал я. И как было сказано ранее, в интервал $[0.521; 6.285]$ попадает около $82\%$ площади под графиком. Хотя в теории должно быть $95\%$.

Полагаю, дело в том, что площадь под графиком функции $P(\sigma)$ получена в предположении, что $\sigma$ случайным образом выбрана из генеральной совокупности с одинаковой плотностью распределения вероятности.

Теоретические границы интервала $[0.521; 6.285]$, как я понимаю, получены без предположения о плотности распределения $\sigma$, а значит, статистически смоделировать тут ничего не получится.

Заметил следующую особенность: если значения $P(\sigma)$ умножить на величину $\frac{S}{\sigma}$, в интервал $[0.521; 6.285]$ попадает $95\%$ площади под графиком. Таким образом, результат статистического моделирования сходится с теоретическим, если предположить, что $\sigma$ случайным образом выбрана из генеральной совокупности с одинаковой плотностью распределения вероятности, умноженной на $\frac{S}{\sigma}$.

[--mS--]

igor_ivanov в сообщении #1426051 писал(а):

Результаты расчёта по данной формуле совпадают с результатами статистического моделирования, которое делал я. И как было сказано ранее, в интервал $[0.521; 6.285]$ попадает около $82\%$ площади под графиком. Хотя в теории должно быть $95\%$.

Вам не надоело сравнивать непонятно что с непонятно чем? Ещё бы не совпадали, когда Вы считаете (с непонятной целью) частоту, с которой $S$ попадает между $0.99$ и $1.01$, а то, что я привожу, есть точное значение вероятности такого события. Теперь ещё новая печаль добавилась: (границы в знаменателе по памяти)

$$ \frac{\int_{0.521}^{6.285} P(0.99 < S < 1.01 \,|\,\sigma=x) dx}{\int_{0}^{50} P(0.99 < S < 1.01 \,|\,\sigma=x) dx} \approx 0.82 $$

Какое отношение это имеет уровню доверия $0.95$, который есть вероятность при заданном неизвестном $\sigma$ величине $S$ лежать в границах

$$ 0.95 = \mathsf P\left(\sigma \cdot \ln\left(\frac{1}{0.975}\right) < S < \sigma \cdot \ln \left(\frac{1}{0.025}\right)\right) = \mathsf P(0.02531781 \sigma< S < 3.6888794 \sigma)\;? $$

[igor_ivanov]

Я уже понял, что моим способом доверительный интервал для $\sigma$ не получить.
А если добавить в задачу условие, что $\sigma$ имеет равномерную плотность распределения в интервале от $0$ до $50$.
Тогда можно будет сказать, что я получил доверительный интервал для $\sigma$, в частности, $0.63 \leqslant \sigma \leqslant 24$ с уровнем доверия 0.95?

[Xmas]

igor_ivanov в сообщении #1426152 писал(а):

Я уже понял, что Тогда можно будет сказать, что я получил доверительный интервал для $\sigma$, в частности, $0.63 \leqslant \sigma \leqslant 24$ с уровнем доверия 0.95?

По-моему, разброс сигмы фантастический. Если доверительный интервал 95-процентный, это значит, что он с вероятностью 95% включает истинное значение "сигмы", либо, с вероятностью 5%, не включает. Но мне было бы лично жутковато, что это за оценка, где можно промахнуться на 24 сигмы с вероятностью 5%

Но я не ради балабольства. Я готов, в порядке энтузиазма, независимо повторить моделирование. Давайте установим условия и проверим.

[igor_ivanov]

Условие задачи для Xmas.

Дана выборка значений нормально распределённой случайной величины объёма три.
Выборочное стандартное отклонение $S=1$.
Стандартное отклонение $\sigma$ принадлежит интервалу от $0$ до $50$ и имеет равномерную плотность распределения.
Получить оценку плотности распределения вероятности $P(\sigma)$.

P.S. Я бы не спешил моделировать, поскольку задача может оказаться некорректно поставленной или мой ход решения неверным.

[--mS--]

igor_ivanov в сообщении #1426152 писал(а):

Я уже понял, что моим способом доверительный интервал для $\sigma$ не получить.
А если добавить в задачу условие, что $\sigma$ имеет равномерную плотность распределения в интервале от $0$ до $50$.
Тогда можно будет сказать, что я получил доверительный интервал для $\sigma$, в частности, $0.63 \leqslant \sigma \leqslant 24$ с уровнем доверия 0.95?

Да, конечно. Если я нигде не ошибаюсь, условная функция распределения $\sigma$ при $S=1$ и априорной равномерной плотности $\sigma$ на $(0,\,50)$ есть

$$ F_{\sigma|S}(x|y=1) = \frac{erfc(1/x)}{erfc(1/50)}. $$

Соответственно, квантили уровней $0.025$ и $0.975$ этого распределения будут $0.628482$ и $23.9939$. Только зачем это.

[Xmas]

igor_ivanov в сообщении #1426184 писал(а):

Дана выборка значений нормально распределённой случайной величины объёма три.
Выборочное стандартное отклонение $S=1$.
Стандартное отклонение $\sigma$ принадлежит интервалу от $0$ до $50$ и имеет равномерную плотность распределения.

igor_ivanov,
С позиций моих представлений, мне непонятна последняя строчка. Если $\sigma$ - генеральное среднеквадратическое отклонение нормально распределённой величины, то оно должно быть точным фиксированным числом, иначе распределение не будет "нормальным".

Если отбросить последнюю строчку, то пример с расчётом доверительного интервала дисперсии и $\sigma$ по малой выборке из нормального распределения приводится, скажем, на 329-й странице в учебнике "Вентцель Е.С. Теория вероятностей / 4-е изд., стер. - М.: Наука, 1969." (есть в сети). Формула там примерно такая:

$$\frac{S^2\,(n-1)}{\chi_1^2}<\sigma^2<\dfrac{S^2\,(n-1)}{\chi_2^2}$$

Следуя примеру из учебника, можно получить следующее. Пусть ищется 95-процентный доверительный интервал для генерального среднеквадратического по выборке размером 3 наблюдения. Тогда

\[\chi_1^2 (0.025; 2) = 7.378;\qquad\chi_2^2 (1-0.025;2)=0.051\]

\[\frac{1^2\cdot2}{7.378}<\sigma^2<\frac{1^2\cdot2}{0.051}\]

\[0.52 < \sigma <6.29\]

Я не говорю, что это истинное решение задачи. Это лишь результаты счёта по примеру из учебника. Можем продолжить.

[igor_ivanov]

--mS-- в сообщении #1426240 писал(а):

Соответственно, квантили уровней $0.025$ и $0.975$ этого распределения будут $0.628482$ и $23.9939$. Только зачем это.

Я просто заметил, что если $P(\sigma)$ в априорном распределении будет не одинаковой, а пропорциональной величине $1/\sigma$, то $0.52 \leqslant \sigma \leqslant 6.29$ с уровнем доверия 0.95.

При этом, если бы я решал задачу без предположения об априорной плотности распределения, то получил бы такие же границы доверительного интервала по формуле $\sqrt{\frac{ (n-1) \cdot S^{2} }{\chi ^{2}(1-\frac{\alpha }{ 2 },n-1)}} \leqslant \sigma \leqslant \sqrt{\frac{ (n-1) \cdot S^{2} }{ \chi^{2}(\frac{\alpha }{ 2 },n-1)}}$.

Xmas в сообщении #1426243 писал(а):

С позиций моих представлений, мне непонятна последняя строчка.

Имеется ввиду следующее.
Есть генеральная совокупность стандартных отклонений $\sigma$, в которой значения $\sigma$ имеют равномерную плотность распределения в интервале от $0$ до $50$.
Из генеральной совокупности случайным образом выбирается некоторое значение $\sigma$. С этого момента значение $\sigma$ фиксировано.
С данным фиксированным значением $\sigma$ была получена выборка значений нормально распределённой случайной величины объёма три, для которой выборочное стандартное отклонение $S$ оказалось равно $1$.

Xmas в сообщении #1426243 писал(а):

Это лишь результаты счёта по примеру из учебника.

В учебнике разбирается другая задача.

[Xmas]

igor_ivanov в сообщении #1426260 писал(а):

Имеется ввиду следующее (...)
С данным фиксированным значением $\sigma$ была получена выборка значений нормально распределённой случайной величины объёма три, для которой выборочное стандартное отклонение $S$ оказалось равно $1$.
В учебнике разбирается другая задача.

Чем она другая-то? Взято единственное, фиксированное и неизвестное значение $\sigma$. Например, досталось $\sigma=2.2$. Это "2.2", полученное из "равномерного распределения" абсолютно ничем не отличается от любого другого "2.2", полученного хоть из показательного распределения, хоть из рэлеевского, хоть из какого угодно. Факт состоялся. У него больше нет дисперсии. Он перестал быть случайной величиной. Теперь это просто число.

Пример в учебнике Е.С.Вентцель как раз позволяет по имеющейся выборке назвать интервал, который с заданной вероятностью включает истинное значение $\sigma$.