Критерий не случайности величины

[upgrade]

provincialka в сообщении #933900 писал(а):

1. Даны числа 1, 2, 4, 8, 16, найти следующее число. Человек, натренированный на головоломках, сразу говорит: 32. В этом есть здравый смысл. Хотя последовательность могла быть такой: 1, 2, 4, 8, 16, 22, 24, 28, 36, 42, ... (догадайтесь, какая закономерность)

но вы заранее знаете, что закономерность есть, дальше надо лишь найти какая она, для второго ряда следующее число 44 (складываются младшие разряды).
но эти ряды небольшие, а если ряд из десятков тысяч значений, то нельзя так быстро определиться, а лучше сперва решить - стоит ли искать закономерность или ряд настолько сложен, что даже если закономерность и есть ее поиск займет слишком большое время.

provincialka в сообщении #933900 писал(а):

Получается 100, 101, 100, 100, 99, 101, ... Каким может быть следующее среднее

нет, здесь не так.
если критерий показывает, что в этом наборе данных диаметры случайны, то мы понимаем, что наверное бесполезно искать связи между диаметрами и другими данными (например о том кто работал на станке или в какое время были получены данные)
если же критерий покажет, что закономерность (еще неизвестно какая) присутствует, то начинаем попристальнее присматриваться к данным и выявляем эту закономерность (ночью брака больше чем днем - человеческий фактор, угол наклона резца А чуть чаще выдает брак, чем угол наклона Б)

[provincialka]

Хм... Вот у меня кучка чисел, пусть даже упорядоченных (то есть пронумерованных). И я не знаю, какие соответствуют деталям, сделанным ночью/днем, на станке А/станке Б и вообще, есть ли там пьяные слесари и День Взятия Бастилии. Даже не могу предположить, идут ли данные разных типов подряд, поочередно или вовсе в разнобой... О какой же закономерности тут можно говорить?

Все, что приходит в голову - нарисовать гистограмму и посмотреть: нет ли у нее нескольких максимумов? В этом случае попытаться разделить выборку на смесь нормальных, что ли... В общем, вяло

-- 20.11.2014, 19:13 --

upgrade в сообщении #933908 писал(а):

если критерий показывает, что в этом наборе данных диаметры случайны

Это тоже непонятно. Что значит "случайны"? Равномерно распределены в некоторых пределах? Или их распределение нормальное (с учетом суммы случайных ошибок)?
Если я долго наблюдаю за средними, я могу прогнозировать следующее среднее. Ну, если не точно, то хотя бы (доверительный) интервал. И если очередной результат явно из него выбивается - тут можно разбираться.

[upgrade]

provincialka в сообщении #933912 писал(а):

Даже не могу предположить, идут ли данные разных типов подряд, поочередно или вовсе в разнобой... О какой же закономерности тут можно говорить?

provincialka в сообщении #933912 писал(а):

Все, что приходит в голову - нарисовать гистограмму и посмотреть: нет ли у нее нескольких максимумов?

вот-вот. примерно так и происходит.
есть несколько поставщиков с массой промежуточных параметров (разные перевозчики/кладовщики/упаковщики и еще невесть что) идет брак. физически невозможно поставить везде датчики. но, периодически появляются явные закономерности, которые и ловим теми- же гистограммами, например.
но чтобы их найти, надо для всех данных гистограммы рисовать. $99\%$ гистограмм - полная ерунда вроде данных форекса.
бесполезная трата времени и усилий.
не важно какая закономерность в данных, важно получить ответ на вопрос - а она там вообще есть хоть какая-то?

provincialka в сообщении #933912 писал(а):

Это тоже непонятно. Что значит "случайны"?

это значит, что для них невозможно найти алгоритм меньшей длины, чем эти данные (это я немного про Колмогоровскую сложность почитал), по которому их можно выстроить заново.

[arseniiv]

upgrade в сообщении #933458 писал(а):

строгое определение я дать не смогу. например $y(x)=x^2$ это не случайная величина, $y(x)=1$ тоже не случайная величина.
вообще наверное это любая непрерывная на каком-то отрезке, функция.

Если взять значения непрерывной функции на возрастающей последовательности аргументов, ни к чему конечному не сходящейся (типа тех же натуральных чисел), они могут быть любыми. Просто по тому что через любую такую последовательность точек графика можно провести непрерывную функцию (и не одну). И даже дифференцируемую. И даже как будто любого порядка гладкости.

upgrade в сообщении #933893 писал(а):

здесь уже известно, что закономерность есть, а надо выяснить есть она хоть какая-нибудь или нет никакой.

Это внематематический вопрос, увы.

Вот вы упомянули конкретные условия — от них надо отталкиваться просто потому что больше не из чего.

upgrade в сообщении #933922 писал(а):

есть несколько поставщиков с массой промежуточных параметров (разные перевозчики/кладовщики/упаковщики и еще невесть что) идет брак.

Вот с этим можно уже какую-никакую модель нарисовать будет, если уконкретить. Можно будет напредполагать случайных величин и потом всякими статистическими критериями насчитать чего-то. При условии того, что величины хорошо угаданы, и ещё при условии нескольких взятых с потолка чисел, зависящих от стоимостей совпадения и не совпадения результатов модели с практикой. Если я правильно обрисовал картину.

[Александрович]

provincialka в сообщении #933912 писал(а):

Если я долго наблюдаю за средними, я могу прогнозировать следующее среднее.

Не можете. Серия средних тоже случайные величины с в n раз меньшей дисперсией.

[Александрович]

Проверка независимости и стационарности наблюдений хорошо описана в гл.11.
С.А. Айвазян и др. Прикладная статистика. 1983.

[provincialka]

Александрович в сообщении #934077 писал(а):

Не можете. Серия средних тоже случайные величины с в n раз меньшей дисперсией.

Ну, не надо банальностей. Вы вырвали фразу из контекста. Я же ясно сказала про доверительный интервал.

[Александрович]

provincialka в сообщении #934093 писал(а):

Вы вырвали фразу из контекста. Я же ясно сказала про доверительный интервал.

Для построения доверительного интервала для матожидания не обязательно "наблюдать
за средними", достаточно наблюдений за случайной величиной.

[upgrade]

вот читаю Колмогоровскую сложность $K(s)$ она невычислима, то есть не существует способа узнать значение этой сложности.
неужели это означает, что я не могу никаким способом отличить ряд, значения в котором появились случайно (максимальная сложность) от ряда $1_1,1_2,1_3,1_4,1_5,1_6,1_6...$
но я же отличаю, причем очень быстро...

-- 21.11.2014, 10:55 --

arseniiv в сообщении #934062 писал(а):

Если взять значения непрерывной функции на возрастающей последовательности аргументов, ни к чему конечному не сходящейся (типа тех же натуральных чисел), они могут быть любыми.

это я не понял. что значит любыми.
есть два конечных ряда
1) натуральный $1;2;3;4;5;6;7;8;9;10$
2) разниц между простыми числами $1; 2; 2; 4; 2; 4; 2; 4; 6; 2$
первый явно имеет закономерность, второй по крайней мере, явно, не имеет.

arseniiv в сообщении #934062 писал(а):

Вот вы упомянули конкретные условия — от них надо отталкиваться просто потому что больше не из чего.

выше конкретные условия натуральный ряд и ряд разниц простых чисел.

[provincialka]

upgrade в сообщении #934111 писал(а):

есть два конечных ряда
1) натуральный $1;2;3;4;5;6;7;8;9;10$
2) разниц между простыми числами $1; 2; 2; 4; 2; 4; 2; 4; 6; 2$
первый явно имеет закономерность, второй по крайней мере, явно, не имеет.

Это потому что вы воспринимаете "закономерность" как то, что можно угадать, вроде тестов на IQ. Такое понимание закономерности неформализуемо.

На самом деле оба (конечных) ряда прекрасно можно описать, например, многочленами достаточно большой размерности.

В том-то все и дело: вы не можете объяснить, что понимаете под "закономерностью", потому что это не понятие, а некое интуитивное (субъективное) ощущение. Какова закономерность в порядке чисел 8 2 9 1 5 7 3 4 6 ? А она есть.

(Оффтоп)

названия по алфавиту

[Александрович]

Иногда приходится считать случайными закономерные ряды из-за потери или отсутствия дополнительной информации. Например отсчеты синусоидального сигнала. Если известны моменты времени отчетов, то можно восстановить всю кривую. Если же отсчеты производят в произвольные моменты времени, то это случайная величина с арксинусоидальным распределением.

[upgrade]

provincialka в сообщении #934114 писал(а):

В том-то все и дело: вы не можете объяснить, что понимаете под "закономерностью", потому что это не понятие, а некое интуитивное (субъективное) ощущение.

по-видимому так и есть. машине все едино - натуральный ряд чисел и шумы...

[arseniiv]

upgrade в сообщении #934111 писал(а):

но я же отличаю, причем очень быстро...

upgrade в сообщении #934111 писал(а):

первый явно имеет закономерность, второй по крайней мере, явно, не имеет.

Это артефакт нашей человеческой ограниченности. Мы перебираем конечное число схем, и если не смогли применить ни одну из них с получением чего-то опять же знакомого, говорим «не видно». В том числе и «закономерности не видно». Так мы можем проморгать какую-то связь, и аналогично способны найти несуществующую. Тот же ряд из единиц (или, например, возрастающая/убывающая/как будто осциллирующая с добавкой шума/и т. п. последовательность) может получиться и случайным образом, с выпадением каждого значения независимо от остальных. Вероятности некоторых «поведений» последовательности из независимых величин могут быть значительными.

Так, например, если побросать точки равномерно в большой квадрат, можно практически наверняка увидеть, что они «кучкуются»; флуктуации средней плотности в зависимости от площади начинаюся неожиданно рано — мы можем представить себе более «однородное» распределение точек в квадрате [и, как ни увеличивай число точек, кучкование никуда не денется]. Но чтобы получать такие однородные картинки из точек регулярно, а не изредка, придётся бросать точки в квадрат не независимо с одним и тем же распределением, а с распределением каждой следующей, зависящим от предыдущих (чтобы приземлялась не слишком близко к ним). И такие могущие показаться на первый взгляд странными вещи попадаются нередко!

[worm2]

Математика может дать ответы только на задачи, которые поставлены в рамках какой-то математической модели.
Непонимание этого проявляется во многих местах, но особенно часто — в статистике. Очень часто людям кажется, что статистика должна работать на голых экспериментальных данных. Это не так. Нужно извне "навесить" на них модель, и только тогда статистика сможет посчитать какие-то параметры этой модели. Причём "навешивая" модель, Вы берёте на себя ответственность за то, что она "адекватна действительности". Если это не так, то результат будет сами понимаете каким. Например, предполагают, что экспериментальные данные — это реализация случайной величины, распределённой по нормальному закону. Или что отдельные эксперименты независимы друг от друга. А почему? Ну, потому, что в теоремах, которые записаны в учебниках, такие условия фигурируют. Т.е. получается, что мы ищем там, где светло.

Что же делать, если мы хотим отделить "хорошие" данные от "плохих"? Нужно построить адекватную процессу математическую модель. Но следует понимать, что математика здесь нам не помощник (а разве что проверяльщик правописания). Нужен человек с опытом, знающий специфику реальных процессов, приводящих к "хорошим" и "плохим" данным. Конечно, какой-то математик может оказаться таким человеком, если он сталкивался с задачами такого типа.

[dsge]

upgrade в сообщении #933722 писал(а):

что похоже это контрпример и предположение в стартовом посте темы неверно?

Да, если я Вас правильно понимаю. И ещё, автокорреляция (как и корреляция) не может быть $>$ единицы (по модулю).