Как интерпретировать результаты аппроксимации?

[Олег Львовский]

Есть несколько наборов экспериментальных данных, которые следует аппроксимировать в рамках некоторой модели. Модель одна и та же для всех наборов (она выбрана из физических соображений), разница только в значениях параметров модели, которые и надо определить из аппроксимации. При этом возникает следующая ситуация: все наборы данных аппроксимируются хорошо, но подгоночные параметры удаётся определить только для некоторых из них. Для ряда наборов данных погрешность в определении параметров превышает значение самого параметра, иными словами, аппроксимируем хорошо, но ничего конкретного о величинах параметров сказать не можем. Как это интерпретировать? В модели есть лишний параметр? Но попытка уменьшить число параметров через упрощение модели не даёт положительного результата: точность аппроксимации сильно снижается. С другой стороны, усложнение модели не ведёт, как правило, к получению более корректных значений параметров. Что делать в такой ситуации? Можно ли утверждать, что модель всё-таки соответствует экспериментальным данным?

[PAV]

Переезжаем из "Помогите решить" в корневой раздел

[spk]

Цитата:

Для ряда наборов данных погрешность в определении параметров превышает значение самого параметра, иными словами, аппроксимируем хорошо, но ничего конкретного о величинах параметров сказать не можем

А как Вы определяете погрешность параметров?
Для таких задач обычно используют байесовский подход. То есть заранее известен класс аппроксимирующих функций (модель). Иногда есть априорные предположения, соображения о характере параметров (например в линейной модели, что скорее всего нет свободного члена), которые выражаются вероятностным распределением из некоторого семейства. При отсутствии такой информации применяются так называемые неинформативные распределения вероятности для значений параметров. А далее, используя байесову формулу и данные, получают апостериорное распредление параметров модели. Соответственно при получении значения регрессии в некоторой точке необходимо провести процесс усреднения по этому распределению.

[Олег Львовский]

spk писал(а):

Цитата:

А как Вы определяете погрешность параметров?
Для таких задач обычно используют байесовский подход. То есть заранее известен класс аппроксимирующих функций (модель). Иногда есть априорные предположения, соображения о характере параметров (например в линейной модели, что скорее всего нет свободного члена), которые выражаются вероятностным распределением из некоторого семейства. При отсутствии такой информации применяются так называемые неинформативные распределения вероятности для значений параметров. А далее, используя байесову формулу и данные, получают апостериорное распредление параметров модели. Соответственно при получении значения регрессии в некоторой точке необходимо провести процесс усреднения по этому распределению.

Спасибо за ответ.
Аппроксимация осуществлялась по методу Левенберга-Марквардта. Соответственно определялась точность аппроксимации chi^2 и матрица Якоби, состоящая из первых производных от функции невязки по параметрам. При известной матрице Якоби J рассчитывалась матрица вариации-ковариации (variance-covariance matrix) размером n*n (n - число параметров), C = (JT*J)^(-1), JT - транспонированная J. Точность определения j-го параметра sj рассчитывалась как sj = sqrt(Cjj*chi^2). Всё это реализовывалось аналогично процедуре подгонки в пакете Microcal Origin (при отладке удобно было сверяться с результатами, которые даёт Origin). К сожалению, непосредственно использовать стандартный пакет не получалось из-за сложности задачи: на определённом этапе подгонки приходилось численно решать трансцендентное уравнение, чего Origin не предусматривает.
Относительно байесовского подхода - признаться, я вообще не в курсе. Не могли бы Вы порекомендовать литературу?[/math]

[spk]

По-моему, здесь нормальная интерпретация может быть проведена при предположении о вероятностной природе данных. То есть наши данные являются случайными величинами: y_i = f(x_i) + \epsilon_i, где \epsilon_i - например, погрешность измерения с E(\epsilon_i) = 0, D(\epsilon_i) = \sigma^2. Тогда, то что Вы написали в качестве точности:

Цитата:

Точность определения j-го параметра sj рассчитывалась как sj = sqrt(Cjj*chi^2)

будет являться стандартным отклонением для j-го параметра модели. Отсюда содержательная интерпретация: это оценка количества информации, которое мы будем получать для оценки значений наших параметров при привлечении еще одной точки в данные на аппроксимацию. Иными словами, если бы мы все сделали с идеальной, бесконечной точностью, то вероятностное распределение параметров выродилось бы в дельта-импульс, а так оно имеет хвосты. Ведь значения наших параметров в первую очередь зависят от данных. Таким образом, то что у Вас получились величины, большие самого значения параметра, - это нормальная картина.

Относительно байесового подхода. Могу порекомендовать книги (на английском) "An Introduction to Bayesian Analysis: Theory and Methods" и "Bayesian Data Analysis".

[Олег Львовский]

Большое спасибо.
Вторую из указанных Вами книг скачал отсюда:
http://avaxsphere.com/ebooks/bayesian_d ... lysis.html
Скачивается rar-архив с паролем, а как пароль надо вводить www.AvaxHome.ru.

[spk]

Вы знаете, есть очень хороший сайт: www.gigapedia.org. Там есть большинство книг спрашиваемых здесь (в смысле на форуме) книг.

[PAV]

[mod="PAV"]Тема переносится в карантин. Исправьте в своем сообщении формулы в соответствии с правилами форума (инструкция здесь). Когда будет готово, сообщите любому модератору, и тема будет возвращена обратно.[/mod]