Распределение Гаусса и распределение Стьюдента

[SHART]

Я студент 1 курса МТУСИ. Задали разобраться с вышеупомянутыми понятиями. В одиночку, к сожалению, не получается, слишком много научной информации и формул. Помогите пожалуйста разобраться. Математическое ожидание - среднее значение, как я понял. Не могу разобраться с дисперсией(разбросом), и с графиком. Понятно, что, чем выше разброс, тем меньше его вероятность. Дальше мысли путаются.

[ewert]

На 1-м курсе не выйдет (уж в начале 1-го семестра точно). Не знаю, кто такой МТУСИ, но мне его жаль.

[SHART]

Не знаю шутка это или нет, но МТУСИ - Московский Технический Университет Связи и Информатики.

[ewert]

Значит, там программа выстроена неграмотно, вот и всё. За что я ему и сочувствую.

[SHART]

Дело не в "нем", а в нашем преподавателе, он от нас слишком много требует. Сочувствовать - дело ваше, мое же дело - принять его условия и подготовиться, поэтому я и пришел на этот форум. Если не хотите или не можете помочь - прошу здесь не отписываться.

[ewert]

С дисперсией всё достаточно просто, если на пальцах: это -- средний квадрат отклонения от среднего. Т.е., грубо говоря, берём все результаты, отсчитываем их отклонения от среднего, возводим в квадрат и потом усредняем. Если грубо.

С Гауссом -- уже ничего хорошего на пальцах не выйдет. Там как минимум надо знать аксиоматику теории вероятностей, понятия случайной величины и плотности вероятности. С наскоку это не возьмёшь, и никто тут Вам эти азы излагать не будет, надо просто тупо (и достаточно долго) учить курс ТВ.

А преподавателю -- передавайте пламенный привет.

[SHART]

Спасибо, с дисперсией разобрался( поправьте меня если я не прав, дисперсия - средняя квадратичная ошибка?), также разобрался с надежностью и абсолютной ошибкой. Осталось только распределение Стюдента.

-- Чт сен 23, 2010 23:15:29 --

"Распределение Стьюдента при числе измерений N стремящихся к бесконечности переходит в распределение Гаусса, а при низком мало отличается от него, функция распределения Стьюдента табулирована. Задав или вычислив P и S, по таблице можно определить необходимое число измерений и параметр распределения $t = \frac y S$, соответствующий заданной надежности." - цитата из нашего учебника.

[Утундрий]

SHART в сообщении #355624 писал(а):

Распределение Стьюдента при числе измерений N стремящихся к бесконечности

Кгхм!
Вообще-то, гораздо раньше!
Десятка-полтора - вполне достаточно.

[SHART]

У нас в учебнике очень скупо описано распределение Стьюдента, побегал по сайтам, там написано, что распределение Стьюдента зависит от одного параметра - степеней свободы, я так понимаю, что в данном случае степени свободы - количество произведенных измерений, я правильно понял? И еще один вопрос, чем отличается распределение Стьюдента от распределения Гаусса?


"Распределение Стьюдента - это непрерывное одномерное распределение с одним параметром - количеством степеней свободы. Форма распределения Стьюдента похожа на форму нормального распределения (чем больше число степеней свободы, тем ближе распределение к нормальному). Отличием является то, что хвосты распределения Стьюдента медленнее стремятся к нулю, чем хвосты нормального распределения. " - данное определение я нашел на одном из сайтов

-- Чт сен 23, 2010 23:55:21 --

И еще одна просьба. Так как мне завтра отвечать нашему профессору по этим вопросам, можете ли вы доказать что Распределение Стьюдента при числе измерений N равное приблизительно 15 переходит в распределение Гаусса. В учебнике написано N стремящееся к бесконечности(ясное дело, что явной ошибки здесь нет), а он боготворит этот учебник, следовательно придерживается этого же мнения, поэтому нужно док-во.

[ewert]

SHART в сообщении #355624 писал(а):

поправьте меня если я не прав, дисперсия - средняя квадратичная ошибка?

Пожалуйста, поправлю: не средняя квадратичная ошибка, а квадрат средней квадратичной ошибки (если уж говорить на этом языке).

SHART в сообщении #355640 писал(а):

можете ли вы доказать что Распределение Стьюдента при числе измерений N равное приблизительно 15 переходит в распределение Гаусса.

Вряд ли, это -- довольно долгая история. Для этого нужно либо иметь явную формулу распределения Стьюдента и какое-то время с ней повозиться (а эта формула не то чтоб даже шибко сложная, но никому не нужна, на практике ей никто не пользуется, и вообще это довольно безыдейное занятие). Или, если подойти к делу всё-таки сознательно, то -- сослаться на центральную предельную теорему. Но для этого нужно, во-первых, ту теорему знать, а во-вторых, и тут всё далеко не сразу.

[SHART]

Спасибо всем за помощь, защитил я сегодня лабораторную работу))Столько учил, а вопрос был простой, какой формулой задается график распределения Гаусса)

[ewert]

Аминь. Но преподавателю -- всё же привет, и именно пламенный. По поводу формулы (Гаусса, да?... -- ну да это не важно) -- тем более пламенный.

[Electrical Engineer]

Здравствуйте. Нашёл эту тему через поиск.

Тоже есть проблема со статистикой. Подскажите, пожалуйста, где найти правильную и доступно написанную методику проверки гипотезы о нормальном распределении случайной величины по критерию Пирсона (хи квадрат). Попали мне несколько методик, противоречащих друг другу. И таблицы хи-квадрат совершенно разные, пока нашёл их две. Математики, к которым я подходил, говорят, что всё просто, но на просьбу объяснить, как сделать, разводят руками и невнятно оправдываются, что это общеизвестная методика.
А задача в том, что имеем около 200 измерений, поставили гипотезу о нормальном распределении случайной величины, нужно теперь это доказать. Для 20-30 измерений получается посчитать по одной из моих методик и получить сходимость около 0,9, для большего числа измерений - как-то всё грустно.

Спасибо заранее.
С уважением.

[Andrew Gubarev]

Проверка нормальности при помощи критерия типа $\chi^2$
0. Пусть сл. в. $X_i, i = 1..n$ независимы и одинаково [в нашем случае ($\alpha, \sigma$)-нормально] распределены; область значений сл. в. $X_1$ разбита на $k$-промежутков (классов). Введем обозначения: $n_j$, $j=1..k$ — количество попаданий элементов выборки в $j$-ый промежуток, $\sum_{j=1}^k n_j = n$; $p_j(\alpha, \sigma)$ — зависящая от неизвестных параметров вероятность попадания элемента выборки в $j$-ый промежуток; $\hat \theta$ — мультиномиальная оценка максимального правдоподобия (м.о.м.п.) — оценка, максимизирующая функцию правдоподобия (или, что эквивалентно, логарифм функции правдоподобия) сгруппированных данных, т.е. такая оценка, что при $\theta = \hat \theta$ логарифм функции правдоподобия $L(\theta; n_1..n_k) = \sum_{j=1}^k n_j \ln p_j(\theta) + \ln \frac{n!}{n_1! \cdots n_k!}$ достигает максимума.
По теореме Фишера, статистика $X^2(\hat {\theta})= \sum_{j=1}^{k}\frac{(n_j - np_j(\hat{\theta}))^2}{np_j(\hat{\theta})}$ распределена, при $n \to \infty$, как $\chi^2_{k-s-1}$, где $s$ — число неизвестных скалярных параметров (в рассматриваемом случае их два: $\alpha$, $\sigma$). Основанный на данной статистике критерий (критерий Пирсона для параметрической гипотезы) используется, когда разбиение области значений случайной величины «задано до получения выборки».
1. Обозначим через $\theta^*$ состоятельную оценку параметра $\theta$. На основе этой оценки зададим разбиение области значений случайной величины $X_1$. Обозначим, аналогичную $X^2(\hat {\theta})$, статистику, построенную по этому случайному разбиению, через $X^2(\theta^*, \hat {\theta})$, т.е.

$X^2(\theta^*, \hat {\theta}) = \sum_{j=1}^{k}\frac {(n_j - np_j(\theta^*, \hat{\theta})^2}{np_j(\theta^*, \hat{\theta})}$. (1)

При выполнении некоторых условий на семейство распределений $X^2(\theta^* \hat {\theta}) - X^2(\hat {\theta}) \to 0$ по вероятности, при $n \to\infty$ (детали см. в [1]). Типичным примером применения критерия, основанного на статистике $X^2(\theta^*, \hat {\theta})$, является такой. На основе статистики $\theta^*$ задаётся разбиение, такое, что вероятность попадания в каждый интервал при $\theta =\theta^*$ равна $1/k$. При заданном разбиении находят м.о.м.п. параметра $\theta$. Вычисляют статистику $X^2(\theta^*, \hat {\theta})$ и сравнивают с квантилью $\chi^2_{k-s-1, 1- \varepsilon}$ соответствующего уровня $1- \varepsilon$. Как и в критерии Пирсона для параметрической гипотезы, основную гипотезу отвергают, если $ X^2(\theta^*, \hat {\theta}) > \chi^2_{k-s-1, 1- \varepsilon}$.
2. Для вычисления м.о.м.п. можно использовать метод накопления (scoring system) Фишера. (Краткие сведения об этом методе можно найти в [2]; применение метода для получения м.о.м.п. математического ожидания при известном стандартном отклонении и м.о.м.п. стандартного отклонения при известном математическом ожидании см. в [3]). Будем использовать обозначения $\Delta [f(t_j)] = f(t_j) - f(t_{j-1})$, $t_j =\frac{y_j - \alpha}{\sigma}$, $\phi = (2\pi)^{-1/2}\exp(-t^2/2)$ — плотность стандартного нормального распределения, $\Phi(t) = \int_{-\infty}^t \phi (u)\,du$ — функция стандартного нормального распределения, $L’_{\theta}= (L’_{\alpha}, L’_{\sigma})^T$ — столбец «накоплений» (иногда говорят «вкладов»). $L’_{\alpha}(\theta)= \sum_{j=1}^k \frac{n_j}{p_j(\theta)}\frac{\partial p_j(\theta)}{\partial \alpha} $, $L’_{\sigma}(\theta) = \sum_{j=1}^k \frac{n_j}{p_j(\theta)}\frac{\partial p_j(\theta)}{\partial \sigma}$. Обозначим матрицу информации для сгруппированных данных через $I(\theta)$:

$I_{11}(\theta) = - \mathsf E L’’_{\alpha \alpha} = \frac{n}{\sigma^2} \sum_{j=1}^k \frac{\Delta^2[\phi(t_j)]}{\Delta[\Phi(t_j)]},$
$I_{12}(\theta) = I_{21}(\theta) = - \mathsf E L’’_{\alpha \sigma} =\frac {n}{\sigma^2} \sum_{j=1}^{k} \frac{\Delta[\phi(t_j)] \Delta[\phi(t_j)t_j]}{\Delta[\Phi(t_j)]},$
$I_{22}(\theta) = - \mathsf E L’’_{\sigma \sigma} =\frac {n}{\sigma^2} \sum_{j=1}^{k} \frac{\Delta^2[\phi(t_j)t_j]}{\Delta[\Phi(t_j)]}.$
$\hat \theta_{m+1} = \hat \theta_m + I^{-1}(\hat \theta_m) L’_{\theta}(\hat \theta_m)$. (2)

3. Для иллюстрации вышеизложенного были выполнены серии экспериментов для выборок объемов 30, 100, 200 и количестве промежутков 5 и 10. В каждой серии выполнялось 1000000 экспериментов состоящих из:

(i) генерирования выборки $X_i, i=1..n$ (с параметрами $\alpha=0$, $\sigma=1$);
(ii) получения значения оценки
$\alpha^* = \frac{1}{n}\sum_{i=1}^n X_i$, $\sigma^* = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \alpha^*)^2$, (3)
(iii) задания разбиения $y_j = \alpha^* + u_{j/k}\sigma^*$, $j=1..k-1$, $u_{1- \varepsilon}$ — квантиль уровня $1- \varepsilon$ стандартного нормального распределения;
(iv) вычисления м.о.м.п. по формуле (2) с использованием оценки (3) в качестве начального значения; (v) вычисления статистики (1) и сравнения с квантилью уровня $1- \varepsilon$, которая выбиралась равной 0.80, 0.85, 0.90, 0.95, 0.99.

Первоначально, для того чтобы иметь возможность быстро выполнять длинные серии экспериментов, для вычисления функции распределения использовалась аппроксимация [4, п.7.1.26], которая имеет невысокую точность. Затем использовалась более точная аппроксимации из Cephes Math Library Release 2.8 (с максимальной погрешностью около $3.7 \cdot 10^{-16}$). Использование Cephes Math Library значительно улучшило сходимость.
Условие прекращения итераций

$\max (|L’_{\alpha}|, |L’_{\sigma}|) < 1\cdot 10^{-5}$ & $|\Delta \hat {\alpha}| < 1\cdot 10^{-5}\hat {\alpha}^{m+1} $ & $|\Delta \hat {\sigma}| < 1\cdot 10^{-5}\hat {\sigma}^{m+1}$.

В таблице приведены результаты проверки гипотезы при различных $1-\varepsilon$ (вероятностях принять гипотезу, когда она верна: 0.80, 0.85, 0.90, 0.95)

\small \begin{tabular}{|c|c|c|c|c|c|c|} \hline n & k & 0.80 & 0.85 & 0.90 & 0.95 & 0.99\\ \hline 30 & 5 & 0.7909 & 0.8480 & 0.8976 & 0.9520 & 0.9918 \\ \hline 30 & 10 & 0.7990 & 0.8535 & 0.9028 & 0.9522 & 0.9905 \\ \hline 100 & 5 & 0.7990 &0.8489 & 0.8988 & 0.9502 & 0.9904 \\ \hline 100 & 10 & 0.79940 & 0.8489 & 0.9007 & 0.9506 & .99025 \\ \hline 200 & 10 & 0.7999 & 0.8501 & 0.9003 & 0.9503 & 0.9901\\ \hline \end{tabular}

Видно, что наблюдаемая частота принять гипотезу, когда она верна, хорошо соответствует номинальному уровню для выборки даже такого малого объема как 30.

Ссылки
1. Чибисов Д.М. Некоторые критерии типа $\chi^2$ для непрерывных распределений // Теория вероят. и её примен., Т. XVI, выпуск 1, с. 3–20, 1971.
2. Рао С.Р. Линейные статистические методы и их применение. — М.: Наука, 1968.
3. Куллдорф Г. Введение в теорию оценивания. — М.: Наука, 1966.
4. Абрамовиц М., Стиган И. Справочник по специальным функциям. — М.: Наука, 1979.

[Electrical Engineer]

Спасибо большое.
Уже разобрались по книге Е.С. Вентцель Теория вероятностей. М.: Издательство "Наука", 1969. - 576 с., илл.
Но это описание тоже будет полезно, спасибо за ответ.