2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Закон Бенфорда
Сообщение03.03.2009, 21:45 
Аватара пользователя


27/10/08
222
Цитата:
Закон Бенфорда или закон первой цифры гласит, что в таблицах чисел, основанных на данных источников из реальной жизни цифра 1 на первом месте встречается гораздо чаще, чем все остальные (приблизительно в 30% случаях). Более того, чем больше цифра, тем меньше вероятности, что она будет стоять на первом месте в числе. Закон применим к цифрам из обычного мира и социальной сферы, будь это показания электрического счётчика, цифры из газетной статьи, уличные адреса, цены акций, количество населения, уровень смертности, длина рек, физические и математические константы, и процессы, описываемые эмпирическими законами (которые весьма распространены в природе). Вот вся таблица Бенфорда:

1: 30.1 %
2: 17.6 %
3: 12.5 %
4: 9.7 %
5: 7.9 %
6: 6.7 %
7: 5.8 %
8: 5.1 %
9: 4.6 %

Долгое время этот закон не находил никакого практического применения. Однако недавно им заинтересовался Марк Нигрини, консультант по прикладной математике Канзасского университета. Он предположил, что большинство мошенников вряд ли знакомо с законом Бенфорда, и в любых наборах чисел, претендующих на правдоподобность, частота чисел, начинающихся с единицы, не будет превышать 1/9. Разработке компьютерных программ по выявлению потенциальных случаев фальсификации данных была посвящена его диссертация на соискание степени магистра, и в ходе ее написания он выявил, что человеческая психика тоже отдает некоторое предпочтение «числам, начинающимся с определенных цифр». Правда, на этот раз «любимыми» цифрами оказались 5 и 6. То есть, если любой произвольный набор чисел содержит менее трети чисел, начинающихся с 1, и при этом достаточно много чисел, начинающихся с 5 или 6 - вероятность фальсификации или ошибки достаточно велика.

Работой д-ра Нигрини заинтересовался районный прокурор Бруклина. Математику предложили проанализировать налоговые декларации, среди которых семь были заведомо фальсифицированными. Все они были выделены программой, как требующие тщательного аудита.

С тех пор взаимовыгодное сотрудничество прокуратуры и д-ра Нигрини продолжается и заключается в написании и отработке программ по тестированию любых данных на предмет фальсификации. Теперь такой проверке подвергаются и счета за использование электроэнергии, и квитанции на штрафы за нарушение правил дорожного движения, и многое другое.


Наиболее понятное для меня логическое объяснение закона Бенфорда заключается в том, что "маленьких" объектов больше, чем "больших". Почему мир устроен именно так? Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

 Профиль  
                  
 
 
Сообщение04.03.2009, 00:59 
Заслуженный участник
Аватара пользователя


22/11/06
1096
Одесса, ОНУ ИМЭМ
АФАИК объяснение закона Бенфорда заключается в том, что величинам этого мира свойственен экспоненциальный рост, а не линейный. Поэтому доля объектов с характеристиками от 1 до 2 не $(2-1)/9$, а $(\ln2-\ln1)/\ln10=0{,}301$.

Добавлено спустя 3 минуты 2 секунды:

Ну и далее
$(\ln2-\ln1)/\ln10=0{,}301$
$(\ln3-\ln2)/\ln10=0{,}176$
$(\ln4-\ln3)/\ln10=0{,}125$
$(\ln5-\ln4)/\ln10=0{,}097$
$(\ln6-\ln5)/\ln10=0{,}079$
$(\ln7-\ln6)/\ln10=0{,}067$
$(\ln8-\ln7)/\ln10=0{,}058$
$(\ln9-\ln8)/\ln10=0{,}051$
$(\ln10-\ln9)/\ln10=0{,}046$

 Профиль  
                  
 
 
Сообщение04.03.2009, 01:09 
Заблокирован


19/09/08

754
Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном)
по теории вероятности или статистики?

 Профиль  
                  
 
 
Сообщение04.03.2009, 02:03 
Заслуженный участник
Аватара пользователя


22/11/06
1096
Одесса, ОНУ ИМЭМ
vvvv в сообщении #191528 писал(а):
Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном) по теории вероятности или статистики?

http://lib.mexmat.ru/showsubject/142671

 Профиль  
                  
 
 
Сообщение04.03.2009, 02:24 
Аватара пользователя


23/02/09
259
AndreyXYZ в сообщении #191462 писал(а):
Наиболее понятное для меня логическое объяснение закона Бенфорда заключается в том, что "маленьких" объектов больше, чем "больших". Почему мир устроен именно так? Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

Еще закон можно пояснить на следующем примере:

В городе живет 100 000 человек для того что бы там жило 200 000 население должно увеличиться на 100%

если же в городе живет 800 000 то увелечение до 900 000 составляет всего 12,5 %

а с 900 000 до 1 000 000 всего 11,11%

таким образом если город ростет постоянно на определенный процент то еденичка с переди будет красоваться гораздо дольше чем девятка :roll:

 Профиль  
                  
 
 
Сообщение04.03.2009, 10:32 
Заблокирован


19/09/08

754
Добавлено спустя 1 минуту 23 секунды:

Бодигрим писал(а):
vvvv в сообщении #191528 писал(а):
Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном) по теории вероятности или статистики?

http://lib.mexmat.ru/showsubject/142671

И это все?

 Профиль  
                  
 
 
Сообщение04.03.2009, 11:03 
Аватара пользователя


15/11/06
2689
Москва Первомайская
AndreyXYZ в сообщении #191462 писал(а):
Еще интересно было бы услышать, как, помимо проверок на фальсификацию, используется этот замечательный закон?

Я вот тут про него немного отметился и чуток обобщил. :)

 Профиль  
                  
 
 
Сообщение04.03.2009, 12:00 
Заслуженный участник
Аватара пользователя


22/11/06
1096
Одесса, ОНУ ИМЭМ
vvvv в сообщении #191572 писал(а):
И это все?

Я ни разу не специалист по матстатистике, поэтому просто вбил в поиск по библиотеке "закон Бенфорда" и дал ссылку на результат.

Может быть я чего-то не понимаю (повторю, ни разу не специалист), но ведь закон Бенфорда не является сколь бы то ни было сложным теоретическим фактом. Как я показывал выше, он тривиально следует из предположения об экспоненциальном характере роста величин окружающего мира и элементарной теории вероятности. Возможно поэтому серьезные теоретические книжки по ТВ и МС его не упоминают.

 Профиль  
                  
 
 
Сообщение04.03.2009, 20:14 
Заслуженный участник
Аватара пользователя


23/07/05
17973
Москва
Benford's law

 Профиль  
                  
 
 
Сообщение05.03.2009, 09:39 
Аватара пользователя


27/10/08
222
vvvv в сообщении #191528 писал(а):
Почему закон Бенфорда не упоминается ни в одном учебнике (русскоязычном)
по теории вероятности или статистики?

Если не верите, можете понабирать числа в поиске в google. Например, наберите 173 и 973, 1465 и 9465, 14275 и 94275. Для каждого числа проверяйте, сколько страниц найдено.

Бодигрим в сообщении #191520 писал(а):
величинам этого мира свойственен экспоненциальный рост, а не линейный

Почему именно экспоненциалый?

 Профиль  
                  
 
 
Сообщение05.03.2009, 10:17 
Аватара пользователя


31/07/07
161
AndreyXYZ писал(а):
Почему именно экспоненциалый?
Потому что динамика этих величин зависит от собственного текущего значения:

$\frac{dy}{dt}=k \cdot y$
$\int \frac {dy}y=k\int dt$
$y=exp(kt+C)$

 Профиль  
                  
 
 
Сообщение05.03.2009, 12:58 


20/11/08
29
Все таки, далеко не все статистические величины относятся к величинам с показательным ростом.
В любом случае, для статистической обработки данных необходимо всегда учитывать природу этих данных. На основании этой природы предположить, по какому закону будут распределены величины, и какие у них будут статистические характеристики, а только потом уже сверять экспериментальные данные с мат. моделью.
Если действовать в обратном порядке - анализировать какую либо выборку чисел, не учитывая откуда эти цифры взялись, то будем действовать по образу и подобию пресловутых британских ученых, и результаты могут получиться самыми бессмысленными. Как например, в доказательстве того "факта" что глобальное потепление является следствием сокращения числа морских пиратов. Пираты и глобальное потепление

И еще странно, что для анализа достоверности результатов используется закон Бенфорда. Т.е. все таки предполагается, что какая то выборка чисел должна иметь определенное распределение. Почему бы не оценивать насколько эти числа соответствуют этому распределению, насколько независимы дельты отклонений наблюдаемых величин от прогнозных, это был бы более тщательный и достоверный анализ. Анализ на соответствие закону Бенфорда, выглядит каким то сильным упрощением критерия соответствия этому распределению.

 Профиль  
                  
 
 Re:
Сообщение25.06.2009, 17:27 


25/06/09
1
Бодигрим в сообщении #191520 писал(а):
АФАИК объяснение закона Бенфорда заключается в том, что величинам этого мира свойственен экспоненциальный рост, а не линейный. Поэтому доля объектов с характеристиками от 1 до 2 не $(2-1)/10=0{,}1$, а $(\ln2-\ln1)/\ln10=0{,}301$.

Добавлено спустя 3 минуты 2 секунды:

Ну и далее
$(\ln2-\ln1)/\ln10=0{,}301$
$(\ln3-\ln2)/\ln10=0{,}176$
$(\ln4-\ln3)/\ln10=0{,}125$
$(\ln5-\ln4)/\ln10=0{,}097$
$(\ln6-\ln5)/\ln10=0{,}079$
$(\ln7-\ln6)/\ln10=0{,}067$
$(\ln8-\ln7)/\ln10=0{,}058$
$(\ln9-\ln8)/\ln10=0{,}051$
$(\ln10-\ln9)/\ln10=0{,}046$

А почему делим на натуральный логарифм десяти - ведь цифр, с которых может начинаться число - девять: 1,2,3,4,5,6,7,8,9

 Профиль  
                  
 
 Re: Закон Бенфорда
Сообщение25.06.2009, 17:44 
Заслуженный участник
Аватара пользователя


22/11/06
1096
Одесса, ОНУ ИМЭМ
Дабы не вдаваться в дискуссию о глубинном статистическом смысле - хотя бы потому, что это единственный верный коэффициент нормировки:
$$ \sum_{k=1}^9 {\ln (k+1)-\ln k \over \ln 10}= {\ln 10-\ln 1\over \ln10}={\ln10\over\ln10}=1. $$

 Профиль  
                  
 
 эмпирический закон Бенфорда о первых цифрах чисел
Сообщение24.12.2009, 20:01 


20/12/09
1527
Я узнал про это закон из книг и статей В.И. Арнольда, например "Антинаучная революция и математика":
http://www.mmonline.ru/articles.php?mid=1006&topic=207.
Еще можно прочитать статью другого автора:
http://veinik.ru/science/fizmat/article/119.html

Для тех, кто про этот закон не слышал, вкратце изложу его историю.
Американский астроном С. Ньюкомб в 1881 году обратил внимание на то, что страницы библиотечных книг, содержащих логарифмические таблицы, истрепаны и сношены там, где содержатся логарифмы чисел, начинающихся на 1. А страницы с логарифмами чисел, начинающихся на 9 - совсем как новенькие. Отсюда получается, что в разных вычислениях и измерениях люди чаще всего встречают числа, которые начинаются на 1. Числа, начинающиеся на 2, 3, 4 и так далее, встречаются все реже. Совсем редко встречаются числа, которые начинаются на 9.

В 1938 году это явление переоткрыл другой американец - физик Ф. Бенфорд. Он собрал большую статистику и вывел формулу для распределения вероятности первой цифры разных измерений и вычислений: $p(n) =log_{10}(\frac {n+1} n), n = 1,2,3,4,5,7,8,9$.

Объяснение закона есть у Арнольда: первая цифра экспоненциально растущей величины в среднем по времени распределена согласно закону $log_{10}(\frac {n+1} n)$. Из эргодической теории среднее по времени совпадает со средним по семейству. Многие величины растут со временем экспоненциально. Поэтому и наблюдается закон Бенфорда.

-- Чт дек 24, 2009 20:02:40 --

Но этот эмпирический закон можно объяснить и по-другому.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 23 ]  На страницу 1, 2  След.

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group