Построение доверительного интервала для значений функции

[alextip]

Здравствуйте. Есть имитационная модель, которая позволяет получить "теоретические" значения в некоторых дискретных точках для интересующего меня параметра. Есть эмпирические данные по этому же параметру. Каким образом я могу построить доверительный интервал для теоретических значений?
Пытался найти конкретные примеры, но везде информация о доверительных интервалах для МО и дисперсии.
Я так понял, что нужно сначала посчитать погрешности (т.е. разницу между теоретическими и эмпирическими данными) и убрать из них все очевидные зависимости (обычно погрешность масштабируется пропорционально росту самого параметра), а после действовать как в случае определения доверительного интервала для МО. Но это только если удастся определить закон распределения.
А если выяснится что погрешности распределены по неизвестному закону, что делать тогда? Можно ли говорить о каких-то доверительных интервалах или довольствоваться только определенной корреляцией между теорией и практикой?

[alextip]

Критерий Колмогорова-Смирнова вроде бы решает вопрос.

[Otta]

Он-то тут при чем.
Вы бы формализовали то, что пытаетесь писать. Что за модель, что про нее известно, ну и так далее.

[alextip]

Он тут при том, что судя по описанию из учебников позволяет проверить соответствие некоторого теоретического закона эмпирическим данным., а статистика этого критерии даёт дополнительно доверительный интервал.

Задача следующая, необходимо проверить соответствие имитационной модели ирезультатам измерений. Построить доверительный интервал для заданного уровня значимости. По результатам моделирования получается набор точек f_i（x) , распределённых вдоль оси x, в этих же точках есть данные измерений.

-- 04.06.2022, 13:11 --

Сама модель регрессией не является, если Вас это интересует. Для получения результатов используются численные и аналитические методы, объединенные в одном алгоритме.

[Otta]

alextip в сообщении #1556365 писал(а):

Задача следующая, необходимо проверить соответствие имитационной модели ирезультатам измерений.

Ну пусть. Хорошо. Любой непараметрический критерий.

alextip в сообщении #1556365 писал(а):

Построить доверительный интервал для заданного уровня значимости.

Доверительный интервал для чего? По постановке задачи у Вас функциональная зависимость. Критерий Колмогорова решает другие вопросы - насколько Ваша выборка соответствует заданному распределению. Эта гипотеза или отвергается, или нет. "Или нет" - это значит, ничего сказать нельзя. Как Вы его тут хотите использовать?

На регрессию как раз очень было бы похоже. Но даже там, чтобы строить доверительные интервалы, нужны дополнительные предпосылки (например, известное распределение ошибки).

В общем, я вижу, что на данный момент Вы удовлетворены своим решением. Не буду мешать.

[alextip]

Ей богу, если вы видите, что я заблуждаюсь, то лучше прямо укажите на ошибку, потому что я не владею в той мере материалом, чтобы из Ваших намеков что-то понять. Я пытаюсь поставить конкретный вопрос и получить на него ответ, если вопрос поставлен не корректно, скажите об этом.

Доверительный интервал нужен, чтобы гарантировать, что практические значения попадут с заданной вероятностью в доверительную полосу. О том что для этого нужно знать закон распределения погрешности, я догадываюсь, поэтому и спросил, что делать, если обнаружится несоответствие известным законам распределения (в самом первом посте).

В какой-то книге я прочитал, что критерий Колмогорова можно использовать для выяснения соответствия выборки не только закону распределения, но в принципе любой известной функции. Источник уже не могу вспомнить.

Если вы можете мне хотя бы указать на порядок действий, который необходим в моем случае, то я буду Вам признателен. Я пытался найти какие-либо алгоритмы и методики в учебниках типа "статистика для физиков" или "обработка результатов эксперимента", но к сожалению с похожими случаями не столкнулся. Везде либо проверяется соответствие найденной регрессионной функции результатам эксперимента, либо соответствие выборки закону распределения.

[Otta]

alextip в сообщении #1556395 писал(а):

Ей богу, если вы видите, что я заблуждаюсь, то лучше прямо укажите на ошибку,

Нет, не вижу, и потому указать прямо не могу. Я запросила формулировку задачи (да, я понимаю, что она практическая, но как-то примитивно ее можно сформулировать в виде, близком к исходному). Пока я не понимаю, что Вы собираетесь делать, мне остается строить сколь-либо правдоподобные догадки, но даже и тогда я не понимаю, каким образом Колмогоров вам даст какие-то отгадки. Он не предназначен для построения доверительных интервалов, цель у него другая.

Что Вы оцениваете? Какой параметр должен, скажем, с вероятностью 0.95, попадать в некоторый интервал, восстанавливаемый по статистическим данным?

[alextip]

Ну давайте попробуем с самого начала.
Есть некоторая "теоретическая" кривая. Теоретическая в кавычках, потому что она не имеет аналитического выражения, а получена по результатам имитационного моделирования, на практике это массив точек, соединенных сплайнами. Есть практические данные. Нужно понять соответствуют ли практические данные этой теоретической кривой.

Кроме того, необходимо построить некоторый доверительный интервал, в данном случае это будет полоса вдоль кривой. Для этой полосы нужно показать, что другие измерения, если они будут выполняться в тех же условиях, будут попадать в данную полосу с определенной вероятностью.

Надеюсь смысл я смог донести :)

[Otta]

alextip в сообщении #1556401 писал(а):

Кроме того, необходимо построить некоторый доверительный интервал, в данном случае это будет полоса вдоль кривой.

Гм. Полоса - не интервал. Она двумерна. Смысл интервала - получить оценку параметра. Полоса ничего не оценивает.
Возвращаемся к исходному вопросу:

Otta в сообщении #1556400 писал(а):

Что Вы оцениваете? Какой параметр должен, скажем, с вероятностью 0.95, попадать в некоторый интервал, восстанавливаемый по статистическим данным?

Параметр. Один.

[alextip]

Полоса это множество интервалов. А параметр в данном случае - погрешность модели. Интервальную оценку этой погрешности надо получить в каждой точке области определения функции, чтобы построить полосу.

[_hum_]

alextip в сообщении #1556365 писал(а):

Задача следующая, необходимо проверить соответствие имитационной модели ирезультатам измерений.

По формулировке похоже на задачу валидации имитационной модели. Можно копать в эту сторону.

[ozheredov]

alextip в сообщении #1556410 писал(а):

Полоса это множество интервалов.

ИМХО, от такая парадигма может навредить. Один интервал накрывает интересующую точку с вероятностью $0.9$, другой с вероятностью $0.9$, а оба вместе? $0.81$ неверно, поскольку точки-то явно сильно коррелированы (раз Вы их сплайнами соединяете), и следовательно накрытия не независимы. Но и $0.9$ скорее всего тоже не верно. Чего бы не искать сразу доверительное множество - полосу?

[Евгений Машеров]

Понятие доверительного интервала предполагает случайность оценок. Что для собственно имитационного моделирования имеет место, поскольку в ходе его используются случайные (псевдослучайные) числа. И если ограничиться этим - достаточно повторить моделирование несколько раз, рассматривать полученные результаты как элементы выборки и стандартным образом строить доверительные интервалы.
Но что-то мне подсказывает, что задача сложнее и обширнее. Поскольку отличия результатов моделирования от эксперимента могут быть обусловлены не только случайностью чисел (а для моделей иного вида и вовсе будет детерминированность ответов), но и несовершенством модели. И ошибка тут не случайная, а систематическая.
Как сравнивать? Общего решения не знаю, и даже не уверен, что оно есть. Столкнись я с такой задачей - возможно, попробовал бы найти "поправочные коэффициенты", построив регрессию и получив, помимо самих поправочных, ещё и оценку ошибки прогноза. Но для более отчётливого совета надо бы более конкретную постановку задачи.

[alextip]

Цитата:

а для моделей иного вида и вовсе будет детерминированность ответов

Очень часто имеет место именно такой вариант.

Я наблюдал уже достаточно много случаев, когда исследователи утверждали о том, что они построили модель и проверили ее адекватность. На графиках практически всегда кроме кривой, полученной по результатам моделирования, присутствует некоторая доверительная полоса, в которую, как утверждается, будут попадать с заданной вероятностью реальные отклики системы.

Если каких-то конкретных рекомендаций не существует, то все это похоже на какую-то профанацию.

Пока я склоняюсь к тому, что можно провести непараметрический тест вроде Колмогорова-Смирнова, который может показать, что отклики модели и реальной системы принадлежат одной совокупности. А потом исследовать погрешности моделирования на соответствие какому-либо закону распределения. На основании положительных результатов можно будет построить доверительные интервалы. Если у кого-то есть поправки в этот вариант, то прошу сказать.

Наткнулся еще на варианты тестов jacknife и bootstrap. Может они как-то помогут. Надо изучить.

[Otta]

alextip в сообщении #1556513 писал(а):

Я наблюдал уже достаточно много случаев, когда исследователи утверждали о том, что они построили модель и проверили ее адекватность. На графиках практически всегда кроме кривой, полученной по результатам моделирования, присутствует некоторая доверительная полоса, в которую, как утверждается, будут попадать с заданной вероятностью реальные отклики системы.

Если каких-то конкретных рекомендаций не существует, то все это похоже на какую-то профанацию.

Вас не только уже я просила более конкретно сказать, о чем речь.
Причины несознанки я, в общем, понимаю. Но раз существуют похожие исследования, такие, где делается то, что Вы хотите, может, хотя бы дадите ссылку на то, что же Вам хотелось бы видеть в качестве конечного результата? По аналогии? Что вот так, например, меня устраивает.

Иначе разговор - переливание из пустого в порожнее.