2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Скопления точек на прямой
Сообщение30.06.2024, 19:13 


06/12/23
32
Доброго здравия. Помогите разобраться с вопросом. Датирован ряд событий на оси времени, всего около 80 событий. Распределены более-менее равномерно (случайно), но явственно в одном месте скопление 5 точек, в другом 4. При этом события идентифицируются в истории, вопрос только в том, что одновременность 5 событий и других 4 событий по нечетким данным с большой погрешностью (археология, радиоуглерод, письменные свидетельства древних авторов не бывших свидетелями) в явном виде не предполагалась, следовательно следует говорить о социальном или природном катаклизме, повлекшем за собой ряд событий.

Какая процедура позволит исключить нулевую гипотезу о случайном характере распределения точек, т.е. считать вероятность наблюдающегося распределения точек как результат независимых событий, а не сцепленных, низкой?
Смутно предполагаю, что хи квадрат может помочь, мне достаточно указания на название процедуры, дальше сам разберусь. Просто опасаюсь, что неверно сформулировал и задачу и цель проверки.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 10:30 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Разбиваем на равномерные участки, считаем хи-квадрат. "Математический" недостаток - механически назначенные границы могут разбивать кластер на части, а делить с учётом скоплений - процедура будет невалидна.
Другой вариант - упорядочиваем события по времени, считаем интервалы, они между независимыми событиями будут экспоненциально распределены. "Математическая" трудность - для нескольких событий в один год интервал получается нулевой, исключающий это распределение принципиально. В качестве эмпирического приёма -для n событий в год задавать интервал $\frac 1 n$, полагая, что они равномерно распределены в году.
"Нематематическая" проблема - сгущение может быть вызвано не увеличением частоты событий, а увеличением интереса к ним, у старинного летописца или современного, делающего выборку, историка. Например, внезапная смерть генерала в мирное время не вызовет интереса, а если одно из "событий" война, то укажут и на эту смерть.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 16:33 


06/12/23
32
Спасибо за содержательный ответ. Проверил по экспоненциальности интервалов, нет возражений что распределение равномерное.
Потом наткнулся на критерий Ченга – Спиринга
https://studfile.net/preview/16712870/page:29/
там ошибка в формуле, нет квадрата в числителе, но разобрался (ошибки на сайтах никогда не исправляются, висят годами).
При доверительной вероятности 0,90 вычисленное значение критерия равномерности 0,73 попадает ровно в середину критических значений для 18 наблюдений 0,58-0,90, т.е. гипотеза равномерности распределения совокупности случайных величин не отклоняется.
Это при картинке ниже

https://post-images.org/photo-page.php?photo=EK7AwOWV

которую не удается загрузить напрямую. Но здравый смысл подсказывает, что события 2-6 происходят одновременно, т.б. что те же данные обработанные по традиционному методу, дают разброс красная линия.
Изменение метода если оно невалидное, преобразует один хаос в другой, появление упорядоченности поскольку она маловероятна - признак валидности метода.
Т.е. проверка по критерию предлагает считать, что рассчитанная одновременность 5 важнейших исторических событий - некая случайность? Традиционный метод дает разброс 1200 лет, модифицированный метод, в котором все отличие в том, что прежняя переменная считается сцепленной из 2 переменных, которые обе просчитываются и отношение ко времени имеет лишь одна, повышает точность в 5-6 раз. Так откуда упорядоченность, если в сам метод она никак не заложена?
При этом с одновременностью 5 событий - отселение 4400 лет назад от индоевропейского племени будущих кельтов, германцев, греков, индоариев и иранцев, не согласится ни один историк или археолог. Подобное признак социальной или природной катастрофы, которые не зафиксированы. Разве что примерно в это время появилось бронзовое оружие на замену дубины для ближнего боя.

По графику самое ближнее время - эпоха Великого переселения, и вновь появляется полочка одновременности, с которой уже большинство соглашается. Опять случайное совпадение? Но одновременность Великого переселения зафиксирована в истории (неск. веков не время), тогда не исключается одновременность рассчитанных тем же методом обсуждаемых событий.
Тогда вопрос, отчего мат. методы статистики настолько строги, что противоречат здравому смыслу?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 16:56 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Что здесь "традиционный метод обработки"?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 17:28 


06/12/23
32
Сводеш, глоттохронология, по коэффициенту совпадения списков базисной лексики, вычищенной от культурного слоя, 100-200 слов.
Время, пропорциональное отрицательному логарифму коэф. совпадения, метод раскладывает на дивергенцию (которая и есть истинное время) и конвергенцию - заимствования, как правило одновременные, в новых реалиях на новом месте.
Т.е. в традиционном методе ко времени примешивается случайная составляющая, которая может изменяться от 0 (сохранивший "чистоту" язык таджиков, с незначительным количеством заимствований), до значительных величин (засоренный болгарский, креольские языки).
Вычищенный от помех метод и дал удивительную одновременность, притом важнейших в истории мира событий. Как ни странно, память сохранялась 4400 лет не в закопанных в земле черепках, а в живых 84 языках. Данные - 1990 год, Дайен, Крускал, Блэк. Эти данные обрабатывались десятки раз, все с разными результатами, притом помеха устранялась байесовскими методами (Грей/Аткинсон), потом помеху стали вычищать вручную (Сергей Старостин), но это процесс субъективный, кто как определит принадлежность слова.
В любом случае формализм рулит, устраняет субъективизм.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение02.07.2024, 06:58 


06/12/23
32
Немного оффтоп. Нашел, откуда на сайт выше попала ошибка в формуле критерия Ченга-Спиринга. Увы, серьезная книга недавно изданная

Никитин, О. Р. Методы измерения статистических параметров радиосигналов : учеб. пособие / О. Р. Никитин,
Н. Н. Корнеева ; Владим. гос. ун-т им. А. Г. и Н. Г. Столетовых. – Владимир : Изд-во ВлГУ. – Владимир, 2020. – 227 с.
ISBN 978-5-9984-1107-6

на стр. 128 формула без квадрата в числителе.

Еще вопрос: не существует ли критерия проверки равномерности распределения по коэффициенту корреляции Пирсона ранжированных по возрастанию координат точек с номерами точек. Чем равномернее, тем ближе к 1, след. в зависимости от числа точек и доверительной вероятности должны быть критические значения.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение02.07.2024, 10:28 


06/12/23
32
Сделал еще одну попытку оценить вероятность скопления 5 точек из 18. В Экселе получаю 18 случайно распределенных значений от 0 до 1, нахожу размах и функцией НАИМЕНЬШИЙ 14 возможных разниц между точками с рангами 1-5, 2-6, 3-7 и т.д. до 14-18, т.е. все комбинации 5 расположенных рядом точек. Из этих разниц находится наименьшая и сравнивается со значением 0,041.
0,041 - это доля размаха 5 обсуждаемых точек на размахе 18 точек.
Моделирование выявило, что значение в очередном опыте меньше 0,041 появляется в среднем на 17 опыте.
Значение 1/17 позволяет считать обнаруженную комбинацию расположения точек маловероятной, т.е. предполагать некую закономерность, сцепленность 5 событий, наличие общей причины либо зависимость одного события от другого?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение03.07.2024, 07:57 


06/12/23
32
Смоделировал вероятность конфигурации на прямой из 18 случайно расположенных точек конфигурации расположенных подряд в любом месте 5 точек с размахом 0,0412 от полного размаха 18 точек в 100.000 опытов. Вероятность составила 0,0605 со ср. кв. откл. 0,0009. Т.е. при случайном расположении точек узкая "полочка" проявляется в одном случае из 17.
На уровне здравого смысла убеждает в одновременности, дефект очевидно в том, что 5 точек выделены на глаз.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: Mikhail_K


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group