Закон Бенфорда

[AndreyXYZ]

Цитата:

Закон Бенфорда или закон первой цифры гласит, что в таблицах чисел, основанных на данных источников из реальной жизни цифра 1 на первом месте встречается гораздо чаще, чем все остальные (приблизительно в 30% случаях). Более того, чем больше цифра, тем меньше вероятности, что она будет стоять на первом месте в числе. Закон применим к цифрам из обычного мира и социальной сферы, будь это показания электрического счётчика, цифры из газетной статьи, уличные адреса, цены акций, количество населения, уровень смертности, длина рек, физические и математические константы, и процессы, описываемые эмпирическими законами (которые весьма распространены в природе). Вот вся таблица Бенфорда:

1: 30.1 %
2: 17.6 %
3: 12.5 %
4: 9.7 %
5: 7.9 %
6: 6.7 %
7: 5.8 %
8: 5.1 %
9: 4.6 %

Долгое время этот закон не находил никакого практического применения. Однако недавно им заинтересовался Марк Нигрини, консультант по прикладной математике Канзасского университета. Он предположил, что большинство мошенников вряд ли знакомо с законом Бенфорда, и в любых наборах чисел, претендующих на правдоподобность, частота чисел, начинающихся с единицы, не будет превышать 1/9. Разработке компьютерных программ по выявлению потенциальных случаев фальсификации данных была посвящена его диссертация на соискание степени магистра, и в ходе ее написания он выявил, что человеческая психика тоже отдает некоторое предпочтение «числам, начинающимся с определенных цифр». Правда, на этот раз «любимыми» цифрами оказались 5 и 6. То есть, если любой произвольный набор чисел содержит менее трети чисел, начинающихся с 1, и при этом достаточно много чисел, начинающихся с 5 или 6 - вероятность фальсификации или ошибки достаточно велика.

Работой д-ра Нигрини заинтересовался районный прокурор Бруклина. Математику предложили проанализировать налоговые декларации, среди которых семь были заведомо фальсифицированными. Все они были выделены программой, как требующие тщательного аудита.

С тех пор взаимовыгодное сотрудничество прокуратуры и д-ра Нигрини продолжается и заключается в написании и отработке программ по тестированию любых данных на предмет фальсификации. Теперь такой проверке подвергаются и счета за использование электроэнергии, и квитанции на штрафы за нарушение правил дорожного движения, и многое другое.

Наиболее понятное для меня логическое объяснение закона Бенфорда заключается в том, что "маленьких" объектов больше, чем "больших". Почему мир устроен именно так? Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

[Бодигрим]

АФАИК объяснение закона Бенфорда заключается в том, что величинам этого мира свойственен экспоненциальный рост, а не линейный. Поэтому доля объектов с характеристиками от 1 до 2 не $(2-1)/9$, а $(\ln2-\ln1)/\ln10=0{,}301$.

Добавлено спустя 3 минуты 2 секунды:

Ну и далее
$(\ln2-\ln1)/\ln10=0{,}301$
$(\ln3-\ln2)/\ln10=0{,}176$
$(\ln4-\ln3)/\ln10=0{,}125$
$(\ln5-\ln4)/\ln10=0{,}097$
$(\ln6-\ln5)/\ln10=0{,}079$
$(\ln7-\ln6)/\ln10=0{,}067$
$(\ln8-\ln7)/\ln10=0{,}058$
$(\ln9-\ln8)/\ln10=0{,}051$
$(\ln10-\ln9)/\ln10=0{,}046$

[vvvv]

Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном)
по теории вероятности или статистики?

[Бодигрим]

vvvv в сообщении #191528 писал(а):

Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном) по теории вероятности или статистики?

http://lib.mexmat.ru/showsubject/142671

[Лиля]

AndreyXYZ в сообщении #191462 писал(а):

Наиболее понятное для меня логическое объяснение закона Бенфорда заключается в том, что "маленьких" объектов больше, чем "больших". Почему мир устроен именно так? Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

Еще закон можно пояснить на следующем примере:

В городе живет 100 000 человек для того что бы там жило 200 000 население должно увеличиться на 100%

если же в городе живет 800 000 то увелечение до 900 000 составляет всего 12,5 %

а с 900 000 до 1 000 000 всего 11,11%

таким образом если город ростет постоянно на определенный процент то еденичка с переди будет красоваться гораздо дольше чем девятка

[vvvv]

Добавлено спустя 1 минуту 23 секунды:

Бодигрим писал(а):

vvvv в сообщении #191528 писал(а):

Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном) по теории вероятности или статистики?

http://lib.mexmat.ru/showsubject/142671

И это все?

[geomath]

AndreyXYZ в сообщении #191462 писал(а):

Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

Я вот тут про него немного отметился и чуток обобщил.

[Бодигрим]

vvvv в сообщении #191572 писал(а):

И это все?

Я ни разу не специалист по матстатистике, поэтому просто вбил в поиск по библиотеке "закон Бенфорда" и дал ссылку на результат.

Может быть я чего-то не понимаю (повторю, ни разу не специалист), но ведь закон Бенфорда не является сколь бы то ни было сложным теоретическим фактом. Как я показывал выше, он тривиально следует из предположения об экспоненциальном характере роста величин окружающего мира и элементарной теории вероятности. Возможно поэтому серьезные теоретические книжки по ТВ и МС его не упоминают.

[Someone]

Benford's law

[AndreyXYZ]

vvvv в сообщении #191528 писал(а):

Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном)
по теории вероятности или статистики?

Если не верите, можете понабирать числа в поиске в google. Например, наберите 173 и 973, 1465 и 9465, 14275 и 94275. Для каждого числа проверяйте, сколько страниц найдено.

Бодигрим в сообщении #191520 писал(а):

величинам этого мира свойственен экспоненциальный рост, а не линейный

Почему именно экспоненциалый?

[Trotil]

AndreyXYZ писал(а):

Почему именно экспоненциалый?

Потому что динамика этих величин зависит от собственного текущего значения:

$\frac{dy}{dt}=k \cdot y$
$\int \frac {dy}y=k\int dt$
$y=exp(kt+C)$

[Апофеоз Здравого Смысла]

Все таки, далеко не все статистические величины относятся к величинам с показательным ростом.
В любом случае, для статистической обработки данных необходимо всегда учитывать природу этих данных. На основании этой природы предположить, по какому закону будут распределены величины, и какие у них будут статистические характеристики, а только потом уже сверять экспериментальные данные с мат. моделью.
Если действовать в обратном порядке - анализировать какую либо выборку чисел, не учитывая откуда эти цифры взялись, то будем действовать по образу и подобию пресловутых британских ученых, и результаты могут получиться самыми бессмысленными. Как например, в доказательстве того "факта" что глобальное потепление является следствием сокращения числа морских пиратов. Пираты и глобальное потепление

И еще странно, что для анализа достоверности результатов используется закон Бенфорда. Т.е. все таки предполагается, что какая то выборка чисел должна иметь определенное распределение. Почему бы не оценивать насколько эти числа соответствуют этому распределению, насколько независимы дельты отклонений наблюдаемых величин от прогнозных, это был бы более тщательный и достоверный анализ. Анализ на соответствие закону Бенфорда, выглядит каким то сильным упрощением критерия соответствия этому распределению.

[JustStepka]

Бодигрим в сообщении #191520 писал(а):

АФАИК объяснение закона Бенфорда заключается в том, что величинам этого мира свойственен экспоненциальный рост, а не линейный. Поэтому доля объектов с характеристиками от 1 до 2 не $(2-1)/10=0{,}1$, а $(\ln2-\ln1)/\ln10=0{,}301$.

Добавлено спустя 3 минуты 2 секунды:

Ну и далее
$(\ln2-\ln1)/\ln10=0{,}301$
$(\ln3-\ln2)/\ln10=0{,}176$
$(\ln4-\ln3)/\ln10=0{,}125$
$(\ln5-\ln4)/\ln10=0{,}097$
$(\ln6-\ln5)/\ln10=0{,}079$
$(\ln7-\ln6)/\ln10=0{,}067$
$(\ln8-\ln7)/\ln10=0{,}058$
$(\ln9-\ln8)/\ln10=0{,}051$
$(\ln10-\ln9)/\ln10=0{,}046$

А почему делим на натуральный логарифм десяти - ведь цифр, с которых может начинаться число - девять: 1,2,3,4,5,6,7,8,9

[Бодигрим]

Дабы не вдаваться в дискуссию о глубинном статистическом смысле - хотя бы потому, что это единственный верный коэффициент нормировки:

$$ \sum_{k=1}^9 {\ln (k+1)-\ln k \over \ln 10}= {\ln 10-\ln 1\over \ln10}={\ln10\over\ln10}=1. $$

[Ales]

Я узнал про это закон из книг и статей В.И. Арнольда, например "Антинаучная революция и математика":
http://www.mmonline.ru/articles.php?mid=1006&topic=207.
Еще можно прочитать статью другого автора:
http://veinik.ru/science/fizmat/article/119.html

Для тех, кто про этот закон не слышал, вкратце изложу его историю.
Американский астроном С. Ньюкомб в 1881 году обратил внимание на то, что страницы библиотечных книг, содержащих логарифмические таблицы, истрепаны и сношены там, где содержатся логарифмы чисел, начинающихся на 1. А страницы с логарифмами чисел, начинающихся на 9 - совсем как новенькие. Отсюда получается, что в разных вычислениях и измерениях люди чаще всего встречают числа, которые начинаются на 1. Числа, начинающиеся на 2, 3, 4 и так далее, встречаются все реже. Совсем редко встречаются числа, которые начинаются на 9.

В 1938 году это явление переоткрыл другой американец - физик Ф. Бенфорд. Он собрал большую статистику и вывел формулу для распределения вероятности первой цифры разных измерений и вычислений: $p(n) =log_{10}(\frac {n+1} n), n = 1,2,3,4,5,7,8,9$.

Объяснение закона есть у Арнольда: первая цифра экспоненциально растущей величины в среднем по времени распределена согласно закону $log_{10}(\frac {n+1} n)$. Из эргодической теории среднее по времени совпадает со средним по семейству. Многие величины растут со временем экспоненциально. Поэтому и наблюдается закон Бенфорда.

-- Чт дек 24, 2009 20:02:40 --

Но этот эмпирический закон можно объяснить и по-другому.