Почему у нормального распределения такая функция?

[Shtirlic]

Ales
Опытных данных навалом, в той же эконометрики и в продажах и еще много где.
Под правильным анализом я имею ввиду не подгонку, а правильное решение задачи.
Так вот у вас есть эмпирические данные, вы начинаете их начинают пытаться смоделировать, то есть описать все движущие силы (влияния каких-то признаков, тренды, сезонные колебания, исключительные ситуации (кризис, война, землетрясение и т.п.)). После этого у вас будет набор эмпирических и теоретических данных. Между ними есть отклонения. Так вот, если были правильно описаны все движущие силы, то эти отклонения будут подчиняться нормальному закону распределения.

-- Вт мар 08, 2011 19:59:34 --

Кстати, статистика продаж хлеба магазинчика, что я описал, будет показывать нормальное распределение.

[Joker_vD]

ИСН в сообщении #420588 писал(а):

Кстати, а ведь строго нормальное распределение для обеих невозможно: у них не бывает отрицательных значений.

Правило пяти сигм — нормально распределенная величина принимает значения только из отрезка $[a-5\sigma,a+5\sigma]$.

[Ales]

Shtirlic в сообщении #420624 писал(а):

Так вот, если были правильно описаны все движущие силы, то эти отклонения будут подчиняться нормальному закону распределения.

Ну хорошо. Нормальное распределение действительно появляется в силу центральной предельной теоремы (ЦПТ) там, где есть суммирование многих несущественных величин.
И тому, кто хочет разобраться в мироустроении, придется учить ЦПТ.
Есть ли тогда какой-нибудь легкий способ вывода формулы нормального распределения для суммы многих несущественных величин. Какое-то простое доказательство ЦПТ, чтобы было легко понять, почему именно такое распределение и почему $e^{-x^2}$?

Каким еще образом нормальное распределение может возникать?
Как появляется нормальное распределение в статфизике?
Можно ли утверждать что если величина распределена нормально, то это обязательно сумма многих малых величин?

[Shtirlic]

Ales
Что касается доказательства ЦПТ. Я только смотрел для суммы одинаково распределенных величин. Не сказал бы что оно легкое с точки зрения инструментария, но идеология понятная. Все основывается на характеристических функциях, там вам и комплексные числа и преобразование Фурье. В общем ТФКП нужно знать довольно хорошо. Сам я, вроде, в старом учебнике Вентцель это доказательство нашел. У меня у самого с этим делом очень слабо, так и не добрался до интегрирования функций комплексного переменного. А вообще логика простая, показывают что характеристическая функция суммы одинаково распределенных величин в пределе стремиться к характеристической функции нормального распределения (так ее наверно и посчитали, а потом преобразованием Фурье получили сам закон нормального распределения).

А вот насчет как еще может появиться нормальное распределение, тут даже не знаю что сказать (особенно в физике, сам экономист). Есть такое стойкое ощущение, что может по другому появиться, по край не мере что-то похожее, но это только ощущение. В принципе все предпочтения человека описываются нормальным законом (например цена которую конкретный человек готов заплатить за мороженное), но здесь тоже может быть какая-то комбинация признаков.

[ewert]

Shtirlic в сообщении #420675 писал(а):

Все основывается на характеристических функциях, там вам и комплексные числа и преобразование Фурье.

Что характеристические функции -- это правда, но говорить про ТФКП и преобразования Фурье -- это некоторое преувеличение. Насчёт преобразования Фурье надо лишь знать, что обратное преобразование выглядит примерно так же, как прямое. От ТФКП там требуется лишь умение вычислять $\int\limits_{-\infty}^{+\infty}e^{-x^2}dx$, и даже не вычислять, а лишь знать, что $\int\limits_{-\infty}^{+\infty}e^{-(x-\frac{it}{2})^2}dx$ не зависит от $t$. А дальше всё сводится к элементарным свойствам характеристических функций и к тому тоже достаточно элементарному факту, что поведение интеграла $\int(g(t))^\gamma dt$ при больших $\gamma$ определяется лишь малой окрестностью глобального максимума функции $g$. (Ну, правда, с дискретными случайными величинами возни несколько побольше.)

Существенно облегчает жизнь то, что во всех перечисленных выкладках нет необходимости возиться с разными там нормировочными константами. Они никак не влияют на сам факт стремления распределения к гауссовскому, а единственный параметр последнего -- дисперсию -- мы и безо всяких выкладок знаем, так что за ним можно и не следить.

[Vince Diesel]

Ales в сообщении #420661 писал(а):

Есть ли тогда какой-нибудь легкий способ вывода формулы нормального распределения для суммы многих несущественных величин. Какое-то простое доказательство ЦПТ, чтобы было легко понять, почему именно такое распределение и почему ?

Если взять единичный $n$-мерный шар с центром в нуле и на оси $Ox_1$ скажем, рассматривать площадь его сечения плоскостями $x_1=\mathrm{const}$, то при $n\to\infty$ будет получаться все более высокий и узкий пик у нуля. Это называется принцип концентрации меры. Если же брать шары радиуса $\sqrt n$ и делить на объем шара, то такое распределение (растянутое исходное) будет все больше похоже на кривую Гаусса. То есть при большой размерности проекция на фиксированную ось с.в. равномерно распределенной в $n$-мерном шаре радиуса $\sqrt n$ будет похоже на нормальное. То же самое праведливо, если рассматривать точки не на шаре, а на сфере, поскольку мера многомерного шара концентрируется у границы.

Теперь, если есть вектор из $\mathbb R^n$, составленный из независимых случайных величин с нулевых средним и единичной дисперсией, то он будет лежать с больщой вероятностью вблизи сферы радиуса $\sqrt n$ по принципу концентрации меры, причем распределение примерно равномерное по сфере. А проекция на любую ось соответственно имеет распределение, все больше похожеее на распределение Гаусса при $n\to\infty$.

Эти рассуждения можно рассматривать еще как наглядный вывод распределения Максвелла молекул по скоростям, которое является частным случаем ЦПТ. Т.е. проекции скорости $\Delta \bar v$ (с единичной дисперсией) $n$ молекул на ось $x$ это точка в $\mathbb R^n$, причем с большой вероятностью вблизи сферы $\sqrt n$, и т.д.

[profrotter]

Силами форума отмечена инвариантность функции Гаусса относительно преобразования Фурье. Напоминаю, что при многократном применении свёртки результат также приближается к функции Гаусса.
Есть ещё один интересный факт про функцию Гаусса: Среди всех абсолютно-интегрируемых функций именно для функции Гаусса произведение её ширины на ширину соответствующей ей по Фурье спектральной функции является минимальным. Ширина здесь характеризуется вторым центральным моментом. То есть среди всех возможных законов распределения случайной величины с заданной дисперсией гауссова величина будет иметь минимальный второй центральный момент характеристической функции. То есть гауссова величина при фиксированном значении дисперсии является наиболее частотно-локализованной.
Быть может, если придать (физический?) смысл характеристической функции, этот факт позволит сделать шаг в понимании сути закона Гаусса, а может быть и нет...

[Joker_vD]

(Оффтоп)

profrotter
Второй центральный момент — это же и есть дисперсия?

[profrotter]

Joker_vD в сообщении #420904 писал(а):

(Оффтоп)

profrotter
Второй центральный момент — это же и есть дисперсия?

(Оффтоп)

Конечо. (Только если рассматривается плотность распределения.)

[Евгений Машеров]

Для начала - возьмите равномерно распределённую величину U(0,1) и нарисуйте её плотность распределения. Должен получиться ровненький прямоугольник. А теперь рассмотрите сумму двух таких величин. Для неё плотность распределения тоже выписать несложно. Максимальное значение будет 2, минимальное 0, но между минимумом и максимумом уже не будет ровненько. У Вас должен выйти треугольник с максимумом в 1. Дело в том, что сумма будет равна 0, если оба слагаемых 0, а вот значение 1 она примет при любом значении x одного слагаемого и значении (1-x) второго. А если Вы выпишете плотность распределения суммы трёх слагаемых (тут уже придётся что-то про интегралы вспомнить), то увидите холмик, отчётливо напоминающий нормальное распределение (но ещё далеко не его). И чем больше будет слагаемых, тем более плотность распределения окажется ближе к нормальному.
При этом у Вас с ростом числа слагаемых центр распределения будет ползти вправо, как и его размах будет нарастать. Понятно, что сдвиг и растяжение собственно формы не меняют, и мы эти параметры, положения и масштаба, будем рассматривать, как мешающие. "Вынесем за скобки", выбирая слагаемые так, чтобы для суммы среднее и матожидание были соответственно 0 и 1. Это не "требование, без которого не выйдет нормальное распределение", это всего лишь вынесение действительных матожидания и дисперсии слагаемых во второй этап расчёта, то есть мы получим для "исправленных" значений слагаемых в пределе стандартную формулу для нормального распределения, а чтобы работать не с "исправленными", а с настоящими, домножим на настоящую дисперсию (вернее, корень из неё) и прибавим "настоящее" матожидание. То есть приём, позволяющий получить формулу попроще, без дополнительных параметров, которые несложно ввести позже. Не более того.
Если рассмотреть слагаемые, у которых дисперсия с ростом n не убывает обратно n, мы получим для суммы их такое же нормальное распределение, но с другой дисперсией, что затруднит выкладки, однако даст тот же, с точностью до параметров, закон.
Объяснить, откуда число Пи - проще, на мой взляд, устремляя в формуле для биномиального распределения n к бесконечности, и заменив в ней факториал его приближением по формуле Стирлинга (вот что делать, если Вы не понимаете, откуда названное число в формуле Стирлинга... Я когда-то пытался это объяснить девочкам-экономисточкам - обиделись).

[Shtirlic]

Евгений Машеров в сообщении #420951 писал(а):

Объяснить, откуда число Пи - проще, на мой взляд, устремляя в формуле для биномиального распределения n к бесконечности, и заменив в ней факториал его приближением по формуле Стирлинга (вот что делать, если Вы не понимаете, откуда названное число в формуле Стирлинга... Я когда-то пытался это объяснить девочкам-экономисточкам - обиделись).

Я такой же экономист, правда с мат. уклоном! Не могли бы попробовать объяснить этот факт появления ПИ. Как-то давно пытался с этим разобраться (по статье из Википедия), но как-то не смог, и знания были не те еще и желания особого не было капаться.
Мне сам факт появления не кажется удивительным, как никак показательная форма комплексного числа легко переводится в тригонометрическую, а там до ПИ уже не далеко. Само же появление экспоненты тоже не особо удивляет (есть подозрение, что может быть нечто похожее на вывод формулы Пуассона (часть естественно), а там все ясно).
Буду очень признателен.

[Ales]

Shtirlic в сообщении #421001 писал(а):

Не могли бы попробовать объяснить этот факт появления ПИ.

Объяснить, кажется, невозможно. Используется формула Валлиса.
Все выводится алгебраически из интегралов степеней синусов и косинусов.
Вывод не сложный и его легко запомнить.
Но почему это так - совсем не очевидно.

$\pi$ в нормировке нормального распределения легко найти алгебраически,
но опять же непонятно почему так?

Чтобы найти коэффициент при нормальном распределении, надо вычислить интеграл для двух переменных, заменяя повторный интеграл на двойной и переходя к полярным координатам.
$$(\int \limits_{-\infty}^{+\infty}e^{-x^2}dx)^2=(\int \limits_{-\infty}^{+\infty}e^{-x^2}dx) \cdot (\int \limits_{-\infty}^{+\infty}e^{-y^2}dy)=\int \limits_{-\infty}^{+\infty}\int \limits_{-\infty}^{+\infty}e^{-(x^2+y^2)}dxdy=\int \limits_0^{2{\pi}}\int \limits_0^{+\infty} e^{-r^2}rdr d \varphi =\pi \int \limits_0^{+\infty} e^{-t}dt=\pi $

[Ales]

Если рассмотреть равномерное движение с единичной скоростью по окружности единичного радиуса на плоскости, то координаты точки будут выглядеть как $(x,y)=(\cos t, \sin t)$, $t $- время.
Скорость точки равна радиус-вектору повернутому на $90^o$.
Движение описывается дифференциальным уравнением ($ \dot x= \frac {dx} {dt}$ - производная по времени $t$):
$\dot x=-y$
$\dot y=x$.
Отсюда $\ddot x =-x$, $\ddot y =-y$.
Экспонента $e^t$ исторически возникает, как решение дифференциального уравнения $\dot x =x$.
Если ввести мнимую единицу $i^2=-1$, то $\frac {d^2} {dt^2}e^{\pm it}=\pm i \frac {d} {dt} e^{\pm it}=-e^{\pm it}$.
Значит $\cos t, \sin t$ выражаются линейно через $e^{\pm it}$.
Временной период движения по окружности - длина окружности - $2\pi$.
Сдвиг по времени на период ничего не меняет - значит $e^{2\pi i}=1$.
Итак число $\pi$ - полупериод комплексной экспоненты, точнее - абсолютная величина полупериода.

В нормальном распределении фигурирует экспонента квадрата. Где квадрат, там всегда корень и значит, мнимая единица.
Есть экспонента (число $e$) и есть мнимая единица (число $i$), тогда число $\pi$ просто обязано появиться.

[Евгений Машеров]

Ну, я не совсем экономист, просто читал некогда теорвер и исследование операций на экономфаке.
Вот там была педагогическая проблема - объяснить "почему" (то есть доказательство они либо зазубривали, либо вообще не воспринимали, а хотелось бы понимания).
И я попытался рассказать "как самому придумать формулу Стирлинга".
Начав с того, что показательная функция с любым основанием слишком медленная. С ростом n факториал будет расти быстрее, сразу же после того, как n превзойдет основание степени.
А $n^n$, напротив, слишком быстро растёт, сомножители в факториале все, кроме последнего, меньше n. Если попытаться в качестве основания брать не само n, а зависящее от него меньшее число, и в качестве самого простого взять n/k при постоянном k,
и подобрать k так, чтобы получилось близко к факториалу, то сами значения факториала, равно и $({\frac n k})^n$, растут слишком быстро, и удобно работать с отношениями $\frac {n!} {(n-1)!}$=n
Стало быть, нам надо $\frac {({\frac n k})^n} {({\frac {n-1} k})^{n-1}}$ приравнять к n и отсюда искать k.
После несложных выкладок видим ВторойЗамечательныйПредел и получаем, что k=e
Однако и после этого не вполне хорошо. То есть уже похоже, но расхождение растёт, надо ввести поправку $f(n)= \frac {n!} {(\frac n e)^n}$.
А чтобы её оценить, рассмотрим (2n)! и n!, попытавшись выразить первый через квадрат второго. А также выписать явно отношение (2n)! к ${n!}^2$.
И вот тут увидеть формулу Валлиса:
$\frac {\pi} 4 = \frac {2*2*4*4*6*6*8*8*...}{1*3*3*5*5*7*7*9*...}$
После этого либо наступает сатори, плавно переходящее в оргазм, либо воспринимать вообще перестают, погружаясь в кому

[Vince Diesel]

Первое приближение еще можно получить, взяв $\ln n!=\sum_{k=1}^n \ln k$ и заменив сумму площадей столбиков площадью под кривой: $\int_0^n\ln x\,dx=n\ln n-n$.