[статистика] Оценка влияния неизвестных факторов

[Evgueni]

Что есть: набор измерений (около тысячи) одной величины с существенно разными статистическими ошибками (порядка 10%).

Гипотеза: предполагается, что на эти измерения действуют скрытые и не контролируемые условия, добавляя вероятно случайные сдвиги или дополнительный разброс.

Что нужно: оценить с какой-то долей вероятности (типа сигма), что в имеющейся совокупности данных присутствует примесь систематики меньше, скажем 0.5%

В какую сторону рыть? Есть ли соответствующие инструменты в R? Про chi^2 знаю, но это лишь проверка на нормальность, а тут нужна оценка на максимальное неизвестное случайное (неслучайное тоже, в том смысле, что возможны случайные единичные сдвиги -- измерения разделены по времени) возмущение.

[Александрович]

Возможно необходимо проверить гипотезу о наличии в выборке выпадающих значений (выбросов, промахов)?

[Evgueni]

Не проверить наличие - оно несомненно есть, а измерить величину внешних эффектов на измеренение. Как-то так.

-- Ср окт 02, 2013 11:02:49 --

Вкратце откуда взялась задача: у меня есть ускоритель и детектор. Ускоритель разгоняет электроны и сталкивает, а детектор регистрирует результаты столкновений. У пучка электронов ускорителя есть параметр: энергетический разброс, то есть энергия столкновения имеет некоторое распределение. Есть процесс, вероятность которого обратно пропорциональна этому самому энергетическому разбросу. Есть условно тысяча "заходов", в которых число событий этого процесса посчитана и отнормировано, скажем для простоты, на время (точнее на светимость), то есть отсюда и идёт статистическая ошибка ибо каждое событие независимо.

Далее есть подозрение, что энергетический разброс нестабилен -- нужно оценить какова эта самая нестабильность. Проблема, что статошибка для одного захода -- 10%, а нестабильность нужно отловить на уровне 0.5%

[Евгений Машеров]

А давайте подробнее опишем. То есть у Вас есть некий пуассоновский процесс, параметр которого определяется значением "энергетического разброса". Есть тысяча реализаций, в каждой из которых Вы посчитали число "успехов". И нужно проверить гипотезу, что параметр постоянен?

[Evgueni]

Он точно не постоянен. Нужно измерить степень этого "непостоянства" с максимально возможной точностью.

[Евгений Машеров]

А что можно сказать о нём? Меняется случайно, или как-то систематически дрейфует? Если случайно - что можно предположить о законе изменения?

[Evgueni]

По большому счёту неизвестно. В качестве гипотезы можно предположить, что совершенно случайно по нормальному закону -- слишком много причин могут на это влиять.

[Евгений Машеров]

Ну, я бы начал с проверки не на нормальность, а, скажем, на то, что число успехов в отдельном опыте имеет пуассоновское распределение с одинаковым параметром. Проверял бы тем же $\chi^2$

[Evgueni]

Наконец-то удалось получить более-менее чистый сэмпл.

Выглядит он примерно так (pdf): http://www.inp.nsk.su/~baldin/pic/Cmu.pdf -- при подгонке константой получается chi^2/ndf=612/616

Точки можно сливать. Они статистически независимы. В каждой точке событий много (>100).

Попробовал бутстрэппинг http://www.inp.nsk.su/~baldin/pic/bootstrap.pdf -- распределение средневзвешенного.

Можно ли сделать утверждение, что систематическая неопределённость предположительно случайной природы меньше чего-нибудь? Например, сигмы распределения средневзвешенного при применении бутсраппинга. Что имеет смысл почитать по подобным методам? Чем они плохи? Что надо делать по хорошему?