Почему у нормального распределения такая функция?

[Ales]

Евгений Машеров в сообщении #421655 писал(а):

Из независимости координаты Х и У ещё нормальность не следует. Но вот из независимости при любом повороте координатных осей...

Но изотропность здесь естественна, если бросать дротик вверх или вниз.
Если честно предположить (забыв про силу тяжести), что при повороте разброс не меняется,
и нечестно, что он не зависим по осям, можно легко получить нормальное распределение.
И это будет, если не ошибаюсь, доказательство Максвелла.

[Евгений Машеров]

Ales

(Оффтоп)

А за базар ответишь? ;)

В смысле обвинение в нечестности требует подтверждения. Ложности в утверждении, что если свойства распределения не меняются при известных преобразованиях, то оно нормально - нет. Вот то, что они не меняются - требует подтверждения опытом или хотя бы мысленным экспериментом.
Метание дротика у Гершеля (именно ему Хемминг приписывает данное доказательство) для оживляжа; в ситуации, которая, вероятно, была для него, астронома, более естественна, исследование ошибок при измерении координат звёзд, поворот координатных осей происходит от вращения небесной сферы и поворота телескопа, так что "выделенного направления", как в случае с дротиком - направления силы тяжести, нет. То есть мысленный эксперимент здесь основан на тезисе, что мы не маги, и наш произвольный выбор (момента наблюдения, расположения телескопа и т.п.) природы не изменит.
В других случаях это не столь очевидно. И приходится использовать "тесты на нормальность". Которые иногда не проходят, но при этом нормальное приближение оказывается приемлемым на первом этапе.
Есть, правда, ситуации, когда речь о "нечестности" можно вести. Скажем, многочисленные прикладные науки, от эконометрики до биометрики, меряют корреляции, и когда их нет - говорят, что "нет зависимости". Но некоррелированность=независимости только для двумерного нормального. Если у нас не такое распределение - вполне случается зависимость при некоррелированности. И если делать вид, что такого быть не может, зная, что такое всё же бывает - это нечестность (а если не знать - то "наивность со взломом").
Но мы пока говорим о чисто математическом аспекте, прикладной заслуживает отдельного рассмотрения.



MaximVD
Да, тут ещё надо указать, симметрично ли - для симметричного с нормировкой по абсолютному отклонению максэнтропийное Лаплас, а для распределения положительной величины с той же нормировкой - показательное. В общем, "максимум энтропии для нормального распределения" может быть принят в качестве аргумента в пользу нормального, но это аргумент "в пользу", а не "в доказательство". Всё равно на реальных данных придётся эмпирически проверять.

profrotter
Само доказательство, боюсь, надо у Колмогорова искать, а у меня под рукой книг нет. Но оно - очень простое приложение вариационного исчисления. По ссылке - доказательство для важного в приложениях случая - случайная величина в заданном интервале с заданными матожиданием и дисперсией, из него видно, как доказывать без ограничений на интервал изменения (получая не "усечённое нормальное", а просто нормальное)
http://www.nbuv.gov.ua/portal/natural/V ... /93-34.pdf

[Ales]

Евгений Машеров в сообщении #421769 писал(а):

В смысле обвинение в нечестности требует подтверждения.

Нечестно то, что предполагается, что отклонения по оси $x$ не зависит от отклонения по оси $y$.
Изначально у нас есть две величины:
- величина отклонения от центра мишени - радиус $r$, который распределен неизвестно как;
- направление - угол $\varphi$, распределенный равномерно.
Отклонение в координатах $(x,y) = (r \cos \varphi,r \sin \varphi)$.
Предположить, что $x$ не зависит от $y$ - это то же самое, что предположить что $r \cos \varphi$ и $r \sin \varphi$ не зависят друг от друга, то есть никак не связаны.
Из формул видно, что они заведомо связаны.
Но эти формулы спрятаны за другими обозначениями -$x$ и $y$, которые кажутся независимыми.
На деле, независимость совсем не обязательна.
А независимость логически эквивалентна нормальному распределению.

[PAV]

Тема перемещена в дискуссионный раздел

[Yarkin]

jrMTH в сообщении #419895 писал(а):

Я думаю, что вначале получили график, а потом как-то под него функцию придумывали, так ли? .

Функцию плотности нормального распределения можно также определить с помощью обобщенного степенного ряда

$$J_{\alpha_{r1},\alpha_{r2},…,\alpha_{rn}}(\alpha_r;z)=\sum_{m=0}^\infty (-1)^m \frac{(2^{-\fracn2}z)^{2m+\alpha_r}}{\prod_{j=1}^n \Gamma(\alpha_{rj}+m+1)}$$

где $\Gamma(p)$- гамма-функция Эйлера, $\alpha_{rj}=\frac{\alpha_r-\alpha_j}2$, $ \alpha_r \in C, j,r=1,2…,n$
Давая значения $n=1,2,3,…$ будем получать различные цилиндрические функции. Простейшая из них при $n=1$ отличается от функции плотности нормального распределения на постоянный множитель. При $n=2$, получим две функции Бесселя с индексами $\alpha_{12}$ и $\alpha_{21}$, и т.д., но с ними работать сложнее.

[profrotter]

Обидно, конечно, что тема зашла в тупик и так и не дала какого-либо качественного (может физического) понимания ЦПТ. И главный вопрос, на мой взгляд, тут не в том, что сумма одинаково-распределённых случайных величин имеет приблизительно гауссово распределение. Слово приблизительно тут существенно. В доказательстве ЦПТ используется разложение искомой ПРВ в ряд с удержанием конечного числа членов. Мол, поведение функции Гаусса определяется своими значениями в окрестности нуля. Между тем можно придумать большое количество колокольчиков, которые сколь-угодно будут приближаться к функции Гаусса, но таковой в точности являться не будут. Например, если рассматривать сумму равномерно-распределённых величин, то результат будет иметь на самом деле ПРВ в виде B - сплайн-функции и отличаться от гауссовой в области "хвостов", которые будут вовсе не бесконечными. Много можно придумать колокольчиков и на основе $|cos^n(x)|$ и, например, $|sinc^n(x)|$ и тд и тп. Поэтому ключевой вопрос тут не в числах $e$ и $\pi$. Прежде всего не следует хвататься за $e$, помятуя о том, что экспонента - это всего лишь частный случай показательной функции, и легко, вообще говоря, можно перейти и к другому основанию, например гауссов закон писать $f(x)=\frac {1} {\sqrt{2\pi \sigma^2}}(\sqrt{e})^{-\frac {(x-m)^2} {\sigma^2}}$.
Для качественного понимания, по итогам обзора темы, предлагаю отвлечься собственно от чисел и формул и думать над вопросом:
Почему сумма одинаково-распределённых величин "пытается иметь":
- симметричный закон распределения;
- наиболее локализованную характеристическую функцию;
- максимальную энтропия?

А то как-то тема "сошла на нет" практически сразу, как только была перемещена в дискуссионные .

[Евгений Машеров]

Ну, приблизительность зависит от числа слагаемых. Вполне себе употребительный способ генерировать нормально распределённые С.В. был - суммировать 12 равномерных. Точности хватало. Если устремить число слагаемых в бесконечность - и хвосты будут сколь угодно длинны. Как и со всеми прочими колокольчиками.
Вообще, если рассмотреть сумму одинаково распределённых независимых С.В., ограничиваясь случаем конечных моментов (при всей узости этого ограничения это те величины, которые могут нам встретиться в реальности), и от моментов перейти к семиинвариантом, помня о том, что первый семиинвариант это матожидание, второй дисперсия, а третий и прочие для нормального нули - и воспользоваться тем, что семиинвариант суммы равен сумме семиинвариантов, а при умножении С.В. на A семиинвариант k-того порядка умножается на $A^k$, а также держать в уме то, что мы нормируем сумму к единичной дисперсии, то легко увидеть, что для суммы S из n слагаемых X семиинварианты будут $\xi_k(S)=\frac {\xi_k(X)} {n^{k/2-1}}$ и с ростом n стремятся к нулю (то есть к семиинвариантам для нормального). Поскольку асимметрия зависит от семиинвариантов нечётного порядка (кроме первого, который сдвиг), то распределение всё более симметрично, а вспомнив, что семиинварианты это коэффициенты разложения в ряд логарифма характеристической функции, проясняем "локализованность".
Что до энтропии - то тут надо оговорить нормировку. Если взять не по дисперсии, а потребовать сосредоточения на интервале (a,b), или нормировать по сумме отклонений от среднего (причём оговорив, что величина положительна, или не требуя этого) получим, соответственно, что максимально энтропийные это равномерное, экспоненциальное и Лапласа.

[Ales]

А еще нормальное распределение естественно возникает в задаче о диффузии и распространении тепла.
Капни капельку краски в лужу воды: она будет расползаться и в каждый момент времени плотность краски будет распределена нормально.

Вот и из Фукусимы радиация так расползается по всей Японии.

Но в реальности конечно, решающее влияние на перенос оказывают потоки воздуха и жидкости.

-- Пт апр 22, 2011 20:57:49 --

Может так и доказывать Центральную предельную теорему: через молекулы?

[profrotter]

Евгений Машеров в сообщении #437834 писал(а):

Что до энтропии - то тут надо оговорить нормировку. Если взять не по дисперсии, а потребовать сосредоточения на интервале (a,b), или нормировать по сумме отклонений от среднего (причём оговорив, что величина положительна, или не требуя этого) получим, соответственно, что максимально энтропийные это равномерное, экспоненциальное и Лапласа.

При сложении независимых одинаково-распределённых СВ дисперсия как раз фиксирована (как сумма дисперсий всех слагаемых - куда ей деваться то) и получается так, что при фиксированной дисперсии результат сложения СВ из всех возможных законов распределения выбирает именно тот, которому соответствует наибольшная энтропия (по вашим же сообщениям выше).
Вот комулянты и семиинварианты там разные математически, конечно, всё проясняют, но качественно вот ничего не дают почувствовать.
А при сложении 12 равномерно-распределённых случайных величин для одного будет функция Гаусса, для другого -- B - сплайн 12-го порядка и состоять он будет их многочленных фрагментов, а не описываться степенной функцией.

P.S. ЦПТ я ни в коем случае не оспариваю, если что!

[Евгений Машеров]

Фиксирована в смысле равна константе.

А что до семиинварианты не дают почувствовать - мне проясняют.

[semikolenov]

Вроде из разложения бинома Ньютона можно получить нормальное распределение. Имея значения функции ( с любой точностью) можно получить функцию. Прошу извинить, если ошибаюсь.

[Deggial]

Пост valambar отделён

semikolenov, замечание за малосодержательный некропост. Этот факт известен всем в теме.

[Pavlovsky]

Извиняйте все не читал.

Нормальное распределение основной закон случайных процессов. Если мы замеряем некий параметр на который влияет огромное количество независимых, недоминирующих, случайных событий мы получим нормальное распределение.
Формула в первом посте это предельный переход биноминального распределения.

Природа (или бог) играют с нами в орлянку или кости.

[Lia]

Pavlovsky
Замечание за бессодержательный некропостинг.

[Lia]

Сообщение Kandor отделено в Пургаторий (М).