Закон Бенфорда

[meduza]

topic20348.html

темы объединены! // maxal

[Ales]

Предположим для простоты, что измеряемые величины распределены равномерно на отрезке от 0 до своего максимума.
Рассмотрим, например, величину распределенную равномерно от 0 до 700. На интервале от 0 до 100 первая цифра такой величины принимает значения от 1 до 9 с равной частотой $\frac 1 9$, на интервале от 100 до 700 возможно шесть равноправных вариантов первой цифры: 1,2,3,4,5,6.
Таким образом, первые цифры этой величины будут встречаться со следующей частотой (вероятностью):
$p(1)= p(2)= p(3)= p(4) = p(5) = p(6) =\frac 1 9\frac 1 7 + \frac 1 7, p(7) = p(8) = p(9) =\frac 1 9 \frac 1 7 $
Такое же распределение будет, если величина меняется от 0 до 70, 7000, 70000 и т.д.

Для величин, меняющихся от 0 до 200,300,400, ...., 1000 аналогичные распределения для первых цифр такие:

$\begin{array}{cccccccccc} {}&{p(1)}& {p(2)}& {p(3)}& {p(4)}& {p(5)}& {p(6)}& p(7)}& {p(8)}& {p(9)}\\ {200}&{\frac 1 9\frac 1 2 + \frac 1 2} &{\frac 1 9\frac 1 2} & {\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}&{\frac 1 9\frac 1 2}\\{300}& {\frac 1 9\frac 1 3 + \frac 1 3} &{\frac 1 9\frac 1 3 + \frac 1 3} & {\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}&{\frac 1 9\frac 1 3}\\{400}& {\frac 1 9\frac 1 4 + \frac 1 4} &{\frac 1 9\frac 1 4 + \frac 1 4} & {\frac 1 9\frac 1 4+ \frac 1 4}&{\frac 1 9\frac 1 4}&{\frac 1 9\frac 1 4}&{\frac 1 9\frac 1 4}&{\frac 1 9\frac 1 4}&{\frac 1 9\frac 1 4}&{\frac 1 9\frac 1 4}\\{500}& {\frac 1 9\frac 1 5 + \frac 1 5} &{\frac 1 9\frac 1 5 + \frac 1 5} & {\frac 1 9\frac 1 5+ \frac 1 5}&{\frac 1 9\frac 1 5+ \frac 1 5}&{\frac 1 9\frac 1 5}&{\frac 1 9\frac 1 5}&{\frac 1 9\frac 1 5}&{\frac 1 9\frac 1 5}&{\frac 1 9\frac 1 5}\\{600}&{\frac 1 9\frac 1 6 + \frac 1 6} &{\frac 1 9\frac 1 6 + \frac 1 6} & {\frac 1 9\frac 1 6+ \frac 1 6}&{\frac 1 9\frac 1 6+ \frac 1 6}&{\frac 1 9\frac 1 6+ \frac 1 6}&{\frac 1 9\frac 1 6}&{\frac 1 9\frac 1 6}&{\frac 1 9\frac 1 6}&{\frac 1 9\frac 1 6}\\{700}&{\frac 1 9\frac 1 7 + \frac 1 7} &{\frac 1 9\frac 1 7 + \frac 1 7} & {\frac 1 9\frac 1 7+ \frac 1 7}&{\frac 1 9\frac 1 7+ \frac 1 7}&{\frac 1 9\frac 1 7+ \frac 1 7}&{\frac 1 9\frac 1 7+ \frac 1 7}&{\frac 1 9\frac 1 7}&{\frac 1 9\frac 1 7}&{\frac 1 9\frac 1 7}\\ {800}&{\frac 1 9\frac 1 8 + \frac 1 8} &{\frac 1 9\frac 1 8 + \frac 1 8} & {\frac 1 9\frac 1 8+ \frac 1 8}&{\frac 1 9\frac 1 8+ \frac 1 8}&{\frac 1 9\frac 1 8+ \frac 1 8}&{\frac 1 9\frac 1 8+ \frac 1 8}&{\frac 1 9\frac 1 8+ \frac 1 8}&{\frac 1 9\frac 1 8}&{\frac 1 9\frac 1 8}\\ {900}&{\frac 1 9\frac 1 9 + \frac 1 9} &{\frac 1 9\frac 1 9 + \frac 1 9} & {\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9+ \frac 1 9}&{\frac 1 9\frac 1 9}\\{1000}&{\frac 1 9} &{\frac 1 9} & {\frac 1 9}&{\frac 1 9}&{\frac 1 9}&{\frac 1 9}&{\frac 1 9}&{\frac 1 9}&{\frac 1 9}\end{array} $

-- Чт дек 24, 2009 20:57:33 --

Предположим далее, что все эти девять распределений встречаются одинаково часто. Тогда, если сложить эти распределения и поделить на 9, можно получить универсальное среднее распределение, которое, на мой взгляд, и описывает износ логарифмических таблиц.

-- Чт дек 24, 2009 21:04:20 --

$\begin{array}{ccccccccc} {p(1)}& {p(2)}& {p(3)}& {p(4)}& {p(5)}& {p(6)}& p(7)}& {p(8)}& {p(9)}\\ {0.238}& {0.183}& {0.146}& {0.118}& {0.096}& {0.077}& {0.061}& {0.047}& {0.035} \end{array} $

-- Чт дек 24, 2009 21:08:30 --

Это также распределение первой цифры в таблице умножения. Особенно хорошо это видно, если умножать друг на друга числа от 10 до 99 или от 100 до 999.

-- Чт дек 24, 2009 21:12:09 --

$p(n)=(10*ln(10)/9+1-(n+1)*ln(n+1)+n*ln(n))/9$

-- Чт дек 24, 2009 21:18:41 --

Такое объяснение, на мой взгляд, более универсально, чем через экспоненциальный рост и эргодическую теорию. В мире не так уж и много экспоненциально растущих величин - расти особенно некуда.

-- Чт дек 24, 2009 21:43:47 --

Я проверил эту теорию по первым цифрам величин, встречающихся в Советском Энциклопедическом Словаре, на страницах со словами, начинающимися с ЧАРЕ-ЧЖУА. Даты, года, пункты и устойчивые сочетания типа 1-ая Конная армия, пропускал.
Получилась следующая статистика:
$\begin{array}{ccccccccc} {p(1)}& {p(2)}& {p(3)}& {p(4)}& {p(5)}& {p(6)}& p(7)}& {p(8)}& {p(9)}\\ {0.276}& {0.166}& {0.144}& {0.127}& {0.088}& {0.061}& {0.066}& {0.044}& {0.027} \end{array} $
Среднее квадратичное отклонение от моего теоретического распределения 0.016, от распределения Бенфорда $log_{10}(\frac{n+1}n)$ 0.017.
По мере роста выборки эмпирическое распределение то лучше совпадало с моим, то с распределением Бенфорда.

Та статистика, которую собрал Бенфорд, подтверждает его распределение:
$\begin{array}{ccccccccc} {p(1)}& {p(2)}& {p(3)}& {p(4)}& {p(5)}& {p(6)}& p(7)}& {p(8)}& {p(9)}\\ {0.301}& {0.176}& {0.125}& {0.097}& {0.079}& {0.067}& {0.058}& {0.051}& {0.046} \end{array} $

[Ales]

Согласно моему распределению 1 и 9 должны встречатся реже, а 2,3,4,5,6 чаще, чем полагал и зафиксировал Бенфорд.

В заключение замечу, что иногда статистику накапливают до тех пор, пока она не подтвердит теорию. Это неправильно, но так делают.

[maxal]

В этой связи уместно упомянуть т.н. вопрос Гельфанда:
http://mathworld.wolfram.com/GelfandsQuestion.html

[infoliokrat]

Ales в сообщении #274861 писал(а):

Я узнал про это закон из книг и статей В.И. Арнольда, например "Антинаучная революция и математика":
http://www.mmonline.ru/articles.php?mid=1006&topic=207.
Еще можно прочитать статью другого автора:
http://veinik.ru/science/fizmat/article/119.html

Для тех, кто про этот закон не слышал, вкратце изложу его историю.
Американский астроном С. Ньюкомб в 1881 году обратил внимание на то, что страницы библиотечных книг, содержащих логарифмические таблицы, истрепаны и сношены там, где содержатся логарифмы чисел, начинающихся на 1. А страницы с логарифмами чисел, начинающихся на 9 - совсем как новенькие. Отсюда получается, что в разных вычислениях и измерениях люди чаще всего встречают числа, которые начинаются на 1. Числа, начинающиеся на 2, 3, 4 и так далее, встречаются все реже. Совсем редко встречаются числа, которые начинаются на 9.

В 1938 году это явление переоткрыл другой американец - физик Ф. Бенфорд.
...

Но этот эмпирический закон можно объяснить и по-другому.

С удовольствием прочитал. И то, что всё "переоткрывается" только после того как ОДИН (хотя бы) раз уже было открыто, и то в жизни (не из теории, а из практики) чаще встречаются числа с первой единицей - верю, по Жванецкому,- сразу и навсегда.

Не зная о таком законе обнаружил, что в любом словаре (толковом и/или поли.., даже русско-белорусском_) слов, начинающихся на ОДНО(-член,-кратно...) много больше, чем МНОГО(-член, -кратно...). Может поэтому и 1математику или 1арифметику сочинить охота. А что касается широкораспространимости чисел, начинающихся на 1, то, наверно, не ПЕРВЫЙ и не последний пример такой: если переписать всех-всех жителей Земли и записать их рост (не в километрах), то эффект будет (новорождённые, естественно, сразу такого роста не имеют).
Так что, за последнюю строку поста - отдельное +1 спасибо. З павагай

[Ales]

maxal в сообщении #275030 писал(а):

В этой связи уместно упомянуть т.н. вопрос Гельфанда:
http://mathworld.wolfram.com/GelfandsQuestion.html

Если принять мое объяснение, то этот вопрос Гельфанда никак не связан с эмпирическим законом Бенфорда.

А если принять объяснение через экспоненциальный рост, то связан. Причем у Арнольда написано как решать такой вопрос:
надо рассмотреть орбиту сдвига на $(log_{10}2,log_{10}3,....,log_{10}9)$ в торе $T^8$.

Я сходу предложил неправильное решение:
Поскольку эти логарифмы иррациональны и их взаимные отношения иррациональны эта орбита будет всюду плотна в торе и распределена равномерно по объему (из эргодической теории). Значит частота появления 23456789 = объему соответствующего кубика = $(log_{10}3-log_{10}2)*(log_{10}4-log_{10}3)*.....*(1-log_{10}9) = 1.534...*10^{-9}$.

На самом деле конечно $2log_{10}2=log_{10}4$, $3log_{10}2=log_{10}8$, $2log_{10}3=log_{10}9$, $log_{10}2+log_{10}3=log_{10}6$. Это усложняет задачу, но на мой взгляд не принципиально. Надо рассмотреть соответствующую плоскость в торе и объем ее пересечения с кубиком.

-- Пт дек 25, 2009 14:09:43 --

$2x_2=x_4, 3x_2=x_8, 2x_3=x_9, x_2+x_3=x_6$

[Ales]

И еще $log_{10}2+log_{10}5=1$, $x_2+x_5=0$.

Исходя из этой формулы сочетание цифр 2**5****, а уж тем более 23456789, встречается только один раз, когда n=1.

-- Пт дек 25, 2009 14:52:53 --

Либо первая цифра >=2 и четвертая <5, либо первая цифра 1, а четвертая >= 5.

[RIP]

(Оффтоп)

infoliokrat в сообщении #275071 писал(а):

Может поэтому и 1математику или 1арифметику сочинить охота.

ЭТО не Ваше творение случаем?