Построение доверительного интервала для значений функции

[alextip]

Попробую найти.

[_hum_]

alextip в сообщении #1556513 писал(а):

Я наблюдал уже достаточно много случаев, когда исследователи утверждали о том, что они построили модель и проверили ее адекватность. На графиках практически всегда кроме кривой, полученной по результатам моделирования, присутствует некоторая доверительная полоса, в которую, как утверждается, будут попадать с заданной вероятностью реальные отклики системы.

Такое описание очень похоже на стандартное использование регрессионного анализа для валидации аналитических параметрических моделей, а именно, авторы предлагают модель $y = f(x;\theta)$ зависимости некоторой величины $y$ от фактора $x$, после чего проводят этот самый регрессионный анализ на основе полученных в результате эксперимента " зашумленных" данных $(x_1, \Tilde{y}_1), (x_2, \Tilde{y}_2), ..., (x_n, \Tilde{y}_n) $, типично предполагая модель зашумления (регрессионную модель) в виде $\Tilde{y}_i = f(x_i;\theta) + \varepsilon_i$, где $\varepsilon_i$ - случайная погрешность измерения.
Если исходная аналитическая модель валидна (и если верны предположения о модели зашумления), то результирующая регрессия тоже должна быть валидной (необходимое условие валидности). На этом и строится проверка.
Там же и появляется знакомый вам вид "confidence/prediction band" fig

Но если у вас все-таки валидация имитационной модели (а не аналитической), то там немного другие подходы (хотя некоторые тоже сводятся к регрессионному анализу). Например, см. A review of performance criteria to validate simulation models.

[Евгений Машеров]

alextip в сообщении #1556365 писал(а):

Он тут при том, что судя по описанию из учебников позволяет проверить соответствие некоторого теоретического закона эмпирическим данным., а статистика этого критерии даёт дополнительно доверительный интервал.

Закона распределения. Это несколько иная задача.

[Евгений Машеров]

В общем, я бы действовал так: сравнивал результаты моделирования с реальными экспериментами, проверил бы гипотезу о наличии систематической ошибки (а если она есть - попытался бы оценить поправки), оценил бы дисперсию отклонения модели от реальности, проверил бы гипотезу о постоянстве дисперсии в разных точках моделирования и строил бы интервал, исходя из этой дисперсии.

[alextip]

Графически изобразил вопрос, чтобы было более понятно.



-- 07.06.2022, 23:10 --

Цитата:

Закона распределения. Это несколько иная задача.

У меня была мысль заменить частоты признака в эмпирическом и теоретическом распределениях значениями измерений и расчетной функции, соответственно. Ведь и то и другое функции. Или есть какие-то ограничения на "тип" этих функций.

Цитата:

В общем, я бы действовал так: сравнивал результаты моделирования с реальными экспериментами, проверил бы гипотезу о наличии систематической ошибки (а если она есть - попытался бы оценить поправки), оценил бы дисперсию отклонения модели от реальности, проверил бы гипотезу о постоянстве дисперсии в разных точках моделирования и строил бы интервал, исходя из этой дисперсии.

Спасибо за совет.

Цитата:

Но если у вас все-таки валидация имитационной модели (а не аналитической), то там немного другие подходы (хотя некоторые тоже сводятся к регрессионному анализу). Например, см. A review of performance criteria to validate simulation models.

Спасибо, почитаю.

[Евгений Машеров]

Судя по картинке - это что-то похожее на то, что я предлагал. Правда, смущает то, что значения иксов не для всех пар точек (расчётная - экспериментальная) совпадают. Если это не произвол художника - это существенное отличие. Я исходил из того, что, проведя опыты и рассчитав для этих же параметров теоретические значения, мы получим набор разностей.
Затем можно проверить наличие значимого отклонения от нуля (систематической ошибки), полезно построить графики отклонений от значений параметров (это позволит заметить нелинейные отклонения), для этих графиков можно рассчитать регрессию отклонений на параметры, что позволит оценить степень нелинейности не только визуально. Разбив эту выборку на подвыборки в зависимости от значений входных параметров (скажем, две - для тех опытов, для которых значение некоторого параметра X больше медианы его и для которых меньше), сравним дисперсии отклонений, чтобы понять, можно ли рассчитывать её по всей выборке или надо учитывать изменения дисперсии в зависимости от параметров (можно также использовать регрессию, но уже квадратов отклонений на параметры). Когда убедимся, что дисперсия одинакова, рисуем доверительный интервал обычным образом.

[alextip]

Цитата:

Правда, смущает то, что значения иксов не для всех пар точек

Это вольность художника.

Цитата:

Затем можно проверить наличие значимого отклонения от нуля (систематической ошибки)

Это тест на смещение?

Цитата:

Когда убедимся, что дисперсия одинакова, рисуем доверительный интервал обычным образом.

А просто тест на однородность и равенство дисперсий подвыборок можно сделать?

Цитата:

Цитата:

Закона распределения. Это несколько иная задача.

У меня была мысль заменить частоты признака в эмпирическом и теоретическом распределениях значениями измерений и расчетной функции, соответственно. Ведь и то и другое функции. Или есть какие-то ограничения на "тип" этих функций.

Хотелось бы все-таки понять правомерность этой идеи.

-- 10.06.2022, 20:45 --

Большое спасибо Вам, Евгений!

-- 10.06.2022, 20:53 --

Цитата:

Но если у вас все-таки валидация имитационной модели (а не аналитической), то там немного другие подходы (хотя некоторые тоже сводятся к регрессионному анализу). Например, см. A review of performance criteria to validate simulation models.

Прочитал эту статью. Приведена куча различных метрик и показателей, но какие значения показателей свидетельствуют об адекватности модели я не понял. Прочитал еще из ссылок статью Сарина "A comprehensive method...". Там тоже приводятся очень интересные показатели оценки, но опять же они позволяют оценить степень сходства двух временных последовательностей. А вот как решить что полученное сходство достаточно для утверждения о соответствии одного другому - такого нет.

[Евгений Машеров]

alextip в сообщении #1557042 писал(а):

А просто тест на однородность и равенство дисперсий подвыборок можно сделать?

Видимо, да. На содержательном уровне - мы должны понять, наша "доверительная полоса" одной ширины или для разных значений параметров ширина должна быть разная.