2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки


Правила форума


Посмотреть правила форума



Начать новую тему Ответить на тему
 
 Скопления точек на прямой
Сообщение30.06.2024, 19:13 


06/12/23
32
Доброго здравия. Помогите разобраться с вопросом. Датирован ряд событий на оси времени, всего около 80 событий. Распределены более-менее равномерно (случайно), но явственно в одном месте скопление 5 точек, в другом 4. При этом события идентифицируются в истории, вопрос только в том, что одновременность 5 событий и других 4 событий по нечетким данным с большой погрешностью (археология, радиоуглерод, письменные свидетельства древних авторов не бывших свидетелями) в явном виде не предполагалась, следовательно следует говорить о социальном или природном катаклизме, повлекшем за собой ряд событий.

Какая процедура позволит исключить нулевую гипотезу о случайном характере распределения точек, т.е. считать вероятность наблюдающегося распределения точек как результат независимых событий, а не сцепленных, низкой?
Смутно предполагаю, что хи квадрат может помочь, мне достаточно указания на название процедуры, дальше сам разберусь. Просто опасаюсь, что неверно сформулировал и задачу и цель проверки.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 10:30 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Разбиваем на равномерные участки, считаем хи-квадрат. "Математический" недостаток - механически назначенные границы могут разбивать кластер на части, а делить с учётом скоплений - процедура будет невалидна.
Другой вариант - упорядочиваем события по времени, считаем интервалы, они между независимыми событиями будут экспоненциально распределены. "Математическая" трудность - для нескольких событий в один год интервал получается нулевой, исключающий это распределение принципиально. В качестве эмпирического приёма -для n событий в год задавать интервал $\frac 1 n$, полагая, что они равномерно распределены в году.
"Нематематическая" проблема - сгущение может быть вызвано не увеличением частоты событий, а увеличением интереса к ним, у старинного летописца или современного, делающего выборку, историка. Например, внезапная смерть генерала в мирное время не вызовет интереса, а если одно из "событий" война, то укажут и на эту смерть.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 16:33 


06/12/23
32
Спасибо за содержательный ответ. Проверил по экспоненциальности интервалов, нет возражений что распределение равномерное.
Потом наткнулся на критерий Ченга – Спиринга
https://studfile.net/preview/16712870/page:29/
там ошибка в формуле, нет квадрата в числителе, но разобрался (ошибки на сайтах никогда не исправляются, висят годами).
При доверительной вероятности 0,90 вычисленное значение критерия равномерности 0,73 попадает ровно в середину критических значений для 18 наблюдений 0,58-0,90, т.е. гипотеза равномерности распределения совокупности случайных величин не отклоняется.
Это при картинке ниже

https://post-images.org/photo-page.php?photo=EK7AwOWV

которую не удается загрузить напрямую. Но здравый смысл подсказывает, что события 2-6 происходят одновременно, т.б. что те же данные обработанные по традиционному методу, дают разброс красная линия.
Изменение метода если оно невалидное, преобразует один хаос в другой, появление упорядоченности поскольку она маловероятна - признак валидности метода.
Т.е. проверка по критерию предлагает считать, что рассчитанная одновременность 5 важнейших исторических событий - некая случайность? Традиционный метод дает разброс 1200 лет, модифицированный метод, в котором все отличие в том, что прежняя переменная считается сцепленной из 2 переменных, которые обе просчитываются и отношение ко времени имеет лишь одна, повышает точность в 5-6 раз. Так откуда упорядоченность, если в сам метод она никак не заложена?
При этом с одновременностью 5 событий - отселение 4400 лет назад от индоевропейского племени будущих кельтов, германцев, греков, индоариев и иранцев, не согласится ни один историк или археолог. Подобное признак социальной или природной катастрофы, которые не зафиксированы. Разве что примерно в это время появилось бронзовое оружие на замену дубины для ближнего боя.

По графику самое ближнее время - эпоха Великого переселения, и вновь появляется полочка одновременности, с которой уже большинство соглашается. Опять случайное совпадение? Но одновременность Великого переселения зафиксирована в истории (неск. веков не время), тогда не исключается одновременность рассчитанных тем же методом обсуждаемых событий.
Тогда вопрос, отчего мат. методы статистики настолько строги, что противоречат здравому смыслу?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 16:56 
Заслуженный участник
Аватара пользователя


11/03/08
9904
Москва
Что здесь "традиционный метод обработки"?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение01.07.2024, 17:28 


06/12/23
32
Сводеш, глоттохронология, по коэффициенту совпадения списков базисной лексики, вычищенной от культурного слоя, 100-200 слов.
Время, пропорциональное отрицательному логарифму коэф. совпадения, метод раскладывает на дивергенцию (которая и есть истинное время) и конвергенцию - заимствования, как правило одновременные, в новых реалиях на новом месте.
Т.е. в традиционном методе ко времени примешивается случайная составляющая, которая может изменяться от 0 (сохранивший "чистоту" язык таджиков, с незначительным количеством заимствований), до значительных величин (засоренный болгарский, креольские языки).
Вычищенный от помех метод и дал удивительную одновременность, притом важнейших в истории мира событий. Как ни странно, память сохранялась 4400 лет не в закопанных в земле черепках, а в живых 84 языках. Данные - 1990 год, Дайен, Крускал, Блэк. Эти данные обрабатывались десятки раз, все с разными результатами, притом помеха устранялась байесовскими методами (Грей/Аткинсон), потом помеху стали вычищать вручную (Сергей Старостин), но это процесс субъективный, кто как определит принадлежность слова.
В любом случае формализм рулит, устраняет субъективизм.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение02.07.2024, 06:58 


06/12/23
32
Немного оффтоп. Нашел, откуда на сайт выше попала ошибка в формуле критерия Ченга-Спиринга. Увы, серьезная книга недавно изданная

Никитин, О. Р. Методы измерения статистических параметров радиосигналов : учеб. пособие / О. Р. Никитин,
Н. Н. Корнеева ; Владим. гос. ун-т им. А. Г. и Н. Г. Столетовых. – Владимир : Изд-во ВлГУ. – Владимир, 2020. – 227 с.
ISBN 978-5-9984-1107-6

на стр. 128 формула без квадрата в числителе.

Еще вопрос: не существует ли критерия проверки равномерности распределения по коэффициенту корреляции Пирсона ранжированных по возрастанию координат точек с номерами точек. Чем равномернее, тем ближе к 1, след. в зависимости от числа точек и доверительной вероятности должны быть критические значения.

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение02.07.2024, 10:28 


06/12/23
32
Сделал еще одну попытку оценить вероятность скопления 5 точек из 18. В Экселе получаю 18 случайно распределенных значений от 0 до 1, нахожу размах и функцией НАИМЕНЬШИЙ 14 возможных разниц между точками с рангами 1-5, 2-6, 3-7 и т.д. до 14-18, т.е. все комбинации 5 расположенных рядом точек. Из этих разниц находится наименьшая и сравнивается со значением 0,041.
0,041 - это доля размаха 5 обсуждаемых точек на размахе 18 точек.
Моделирование выявило, что значение в очередном опыте меньше 0,041 появляется в среднем на 17 опыте.
Значение 1/17 позволяет считать обнаруженную комбинацию расположения точек маловероятной, т.е. предполагать некую закономерность, сцепленность 5 событий, наличие общей причины либо зависимость одного события от другого?

 Профиль  
                  
 
 Re: Скопления точек на прямой
Сообщение03.07.2024, 07:57 


06/12/23
32
Смоделировал вероятность конфигурации на прямой из 18 случайно расположенных точек конфигурации расположенных подряд в любом месте 5 точек с размахом 0,0412 от полного размаха 18 точек в 100.000 опытов. Вероятность составила 0,0605 со ср. кв. откл. 0,0009. Т.е. при случайном расположении точек узкая "полочка" проявляется в одном случае из 17.
На уровне здравого смысла убеждает в одновременности, дефект очевидно в том, что 5 точек выделены на глаз.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Модераторы: Модераторы Математики, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group