Критерий не случайности величины

[upgrade]

provincialka в сообщении #933487 писал(а):

Математик "на раз" найдет вам кучу и приближенных, и точных закономерностей в любом наборе.

вы меня постоянно удивляете, как можно точные закономерности найти "на раз"? имеется $100 000$ наборов данных в которых некоторые данные неизвестны $\underbrace{1,2,3}\limits_{1};\quad \underbrace{4,5,6}\limits_{2};\quad \underbrace{1,2,3}\limits_{3};\quad \underbrace{4,5,6}\limits_{4}; \quad...\quad \underbrace{1,2,3}\limits_{100};\quad \underbrace{4,x_1,6}\limits_{101};\quad \underbrace{1,2,x_2}\limits_{102}; \quad \underbrace{4,5,6}\limits_{103};\quad... \quad \underbrace{4,5,6}\limits_{100000}$
описать их можно, но как в них точные закономерности найти?

(Оффтоп)

provincialka в сообщении #933487 писал(а):

У меня закралось подозрение - уж не биржевые ли это показатели? форекс-морекс какой-нибудь?

нет, это изделия, платежи, некоторые события, координаты. много их. форекс для тестов использовали, но он плохие данные поставляет - сплошной мусор.

можно например взять следующий ряд (это $3-2;5-2;7-5;11-7;...$):
$1;\quad2;\quad2;\quad4;\quad2;\quad4;\quad2;\quad4;\quad6;\quad2;\quad6;\quad4;\quad2;\quad4;\quad6;\quad6;\quad2;\quad6;\quad4;\quad2$
коэффициенты автокорреляции с точностью до $3$ знака $-0.06$
можно ли на основании этого сделать вывод о том, что в этом ряде данных не имеет смысла искать закономерности?

[provincialka]

А вот про "некоторые неизвестны" вы до сих пор не говорили. Если все числа известны - можно построить интерполяционный многочлен. Если не нужна абсолютная точность - какую-нибудь функцию (степенную, экспоненту, логарифм и т.п.) В этом случае и неизвестные данные не помешают, если их мало.

Другое дело, что толку от таких "закономерностей" будет пшик. Ну, так про "толк"-то вы нам и не рассказали.

[upgrade]

provincialka в сообщении #933506 писал(а):

Ну, так про "толк"-то вы нам и не рассказали.

так запоминаем значения для закономерностей и надо посчитать только совпадение с закономерностью - выявлять закономерность уже не надо. время экономится очень сильно.
например пришло $500000$ штук данных, ряд начинается $1,4,9,16,25, ... $ проверили на автокорреляцию первые $1000$ членов - единицы, отлично, нашли признак закономерности.
дальше обрабатываем не $500 000$ данных, а всего например $100$ на поиск закономерности, получили $y=x^2$ и следующие $499900$ просто на совпадение с $y=x^2$ это совсем другие времена обработки.

[provincialka]

Нет, так не пойдет. Нельзя работать с данными, просто как с "числами". Вот, они у вас в тройки собраны - это что-то значит? Имея несколько троек, вы должны дополнить остальные? Эти числа точные или содержат погрешность?

В статике обычно работают с выборками, полученными из с.в. или с временными рядами. В первом случае не важен порядок.

Вот, например: измерили давление у женщин, и у мужчин. Можно сравнить средние. Можно сравнить распределения значений.
Измерили давление до лечения и после. Можно поискать эффект: помогает или нет.

И там и там - два набора чисел, но смысл разный, и разные надо ставить вопросы.

[upgrade]

provincialka в сообщении #933506 писал(а):

толку от таких "закономерностей" будет пшик.

нет, если имеется выраженная закономерность, можно выключить компьютер и порешать с ней какие-нибудь интегралы и производные с синусами-косинусами, что очень сильно сократит время для принятия решения - мы и дальше держим включенным кассовый аппарат/приемник сигнала или можно его переключить на другие задачи.

[provincialka]

Ну и делайте так. Проверка конкретной закономерности - вполне понятная и разработанная задача. То есть у вас есть пронумерованный набор чисел $x_n$ и вы ищете закономерность в виде $x_n=f(n)$? В классе каких-то функций? При чем тут какие-то автокорреляции?Они, кстати, "отлавливают" линейные зависимости, а не какие-то другие.

[upgrade]

provincialka в сообщении #933511 писал(а):

Вот, они у вас в тройки собраны - это что-то значит?

это значит что стоит три конвейера (три кассы) и на них приходят детали в штуках - на одновременно первый, на второй и на третий. а на $101$-й раз датчик количества деталей второго конвейера показал $50000$

provincialka в сообщении #933511 писал(а):

Имея несколько троек, вы должны дополнить остальные? Эти числа точные или содержат погрешность?

я должен сделать выбор - верить датчику, который показал $50000$ или просто вписать $5$.
эти числа точные, но поставщик чисел может ошибаться.

provincialka в сообщении #933516 писал(а):

вы ищете закономерность в виде $x_n=f(n)$

это было бы конечно идеально, но это не реально. закономерности ищутся в вероятностных значениях.
например, датчик два месяца показывал, что детали поступают в среднем с частотой примерно $100$ единиц в минуту, а на третий месяц показал среднюю частоту $101$ единица в минуту. надо понять - это датчик барахлит или деталей больше стало.
чтобы это понять сначала надо понять а имеет ли смысл обрабатывать данные от датчика вообще как-либо, может конкретно при поступлении деталей на конвейер закономерности настолько сложные, что выглядят как хаос, искать их надо в другом месте и никакие датчики штук не нужны - в грузовик вошло и ладно.

[provincialka]

Ну, это совсем другая задача. Это задача проверки гипотезы. Но и она не решается однозначно, если в данных есть случайность. Конкретно для задачи о средних есть понятие "доверительный интервал" - зная, что среднее равно 100, можно посчитать с некоторой надежностью, интервал, в который попадет истинное среднее. Но надежность никогда не бывает равна 100%, допускается некоторый процент ошибки.
Не вижу, как последняя постановка задачи связана с некоей "неслучайной величиной".

[Cash]

Не уверен, но возможно ТС спрашивает про это Колмогоровская сложность?

[dsge]

upgrade в сообщении #933398 писал(а):

для $y_t = \sin\pi t/2$
первые десять коэффициентов примерно $0.99963$

Как это у Вас получилось? $y_t = \sin\pi t/2$, $y_0=0, y_1=1, y_2=0, y_3=-1, y_4=0, y_5=1,\dots$, $\bar{y}=0$, $r=(0\cdot1+1\cdot 0 + \cdots)/(n \sigma^2)$

[upgrade]

provincialka в сообщении #933542 писал(а):

Не вижу, как последняя постановка задачи связана с некоей "неслучайной величиной".

например, мы точно знаем, что некоторые данные не могут быть случайны, надо выяснить какие или наоборот, известно что данные получаемые от подбрасывания монетки должны быть случайны, надо выяснить - так ли это и если нет, подать сигнал.
вариантов применения критерия много. еще пример - управляется некоторая система, надо понимать она все еще управляема или уже нет.

Cash в сообщении #933556 писал(а):

Не уверен, но возможно ТС спрашивает про это Колмогоровская сложность
?

читаю.

dsge в сообщении #933592 писал(а):

Как это у Вас получилось?

я неверно посчитал - в градусах. для радиан все нули. правильно я понимаю, что похоже это контрпример и предположение в стартовом посте темы неверно? или есть определенный класс функций для которого оно не выполняется?

[ИСН]

Предположение в стартовом посте темы описывает поведение сиреневых единорогов. Оно не может быть ни верно, ни неверно; оно бессмысленно.

[provincialka]

Я вот о чем подумала. Может, ТС-у нужна теория организации эксперимента? В частности, "анализ мощности". Я в этом не специалист, но вот передо мной лежит книга по статистическому языку R в ней целая глава посвящена этому анализу.

Задача ставится так: четыре величины
-- размер выборки;
-- уровень значимости;
-- мощность критерия;
-- величина эффекта
тесно взаимосвязаны. Зная три из них, можно найти четвертую.

Например, проводим тест Стьюдента, желаемый эффект - 0.8, уровень значимости 5%, мощность - 90%. Тогда достаточный размер выборки - 34 наблюдения.

В языке R есть пакет pwr (от слова power, мощность), в котором собраны соответствующие функции. НО! Для каждой задачи - отдельно.

[upgrade]

provincialka в сообщении #933868 писал(а):

Зная три из них, можно найти четвертую.

здесь уже известно, что закономерность есть, а надо выяснить есть она хоть какая-нибудь или нет никакой.

ситуация наверное похожа на поиск зависимости значения простого числа от его порядкового номера, вот ищут ищут, а может нет никакой зависимости и тратить время на поиски бесполезно.

например, идет среднее число брака, точное число брака колеблется вокруг среднего с разбросом.
как узнать - данные эти в очередном наборе данных о браке случайные или нет? если разброс случаен и нет никаких скрытых параметров, которые мы просто упускаем (датчиков не хватает, а может датчики надо переставить, или чаще надо считывать данные о количестве или наоборот реже - отсюда пришли в голову неравенства Белла), то и не возимся с поисками причин брака этим методом или в этом наборе данных, а ищем какой-то другой (например, ставим датчики у одного из поставщиков и оказывается, что весь брак - вина перевозчика).

В конкретном случае, когда идет брак, мы точно знаем, что должна быть закономерность, у брака есть вполне объективные причины. Но данных много и быстро закономерность не обнаружить. А если оценить хотя бы возможное существование или отсутствие закономерности в данных, то можно хотя бы решить - а надо ли вообще обрабатывать вот этот кусок данных в размере пятьдесят тысяч штук или смысла в этом никакого нет - все равно никакой закономерности не найдем - данные некачественные, все случайные или слишком много случайных.
Если некоторый критерий показывает, что имеющиеся данные могут содержать закономерность - приступаем к обработке.
А если некоторый критерий показывает, что нет никакой закономерности, последовательность данных случайна - эту последовательность не обрабатываем, переходим к другой.

может такая формулировка подойдет:
найти признак, по которому можно отличить ряд, состоящий из чисел не зависящих от их порядкового номера, от ряда состоящего из чисел, значения которых зависят от их порядкового номера.

при такой формулировке, получается надо ряды сравнивать с натуральным рядом (или с рядом состоящим из единиц или нулей) ... ну чтож попробуем..

-- 20.11.2014, 18:39 --

Cash в сообщении #933556 писал(а):

возможно ТС спрашивает про это Колмогоровская сложность?

Колмогоровская сложность - это по всему оно, только не найду пока критерия, по которому можно отличить сложный набор данных от не сложного, пока что то что я читаю - это описание существования таких различий.

[provincialka]

Чем дальше в лес, тем больше дров. По-моему, для начала надо хотя бы разобраться с понятием "закономерность". Вы свои данные представляете то как детерминированные, то как стохастические (содержащие случайность).

Вот два (в некотором смысле крайних) типа зависимостей.

1. Даны числа 1, 2, 4, 8, 16, найти следующее число. Человек, натренированный на головоломках, сразу говорит: 32. В этом есть здравый смысл. Хотя последовательность могла быть такой: 1, 2, 4, 8, 16, 22, 24, 28, 36, 42, ... (догадайтесь, какая закономерность)

2. Берем по 100 деталей с конвейера, замеряем средний диаметр. Получается 100, 101, 100, 100, 99, 101, ... Каким может быть следующее среднее? Можно ли насторожиться, если оно равно 98? 105? 200?

И еще мильон всяких разных "зависимостей". У вас какая? Что вы понимаете под "закономерностью"?