аппроксимация, погрешность при наличии артефактов

[mmu]

Доброго всем времени суток.

Первый раз на этом форуме и поэтому могу не знать каких-то правил. Заранее прошу прощения.

Суть проблемы.
Имеется последовательность измерений физической величины в количестве N штук, которая образует убывающий график. Последовательность, естественно, имеет некоторую ошибку измерений. Из теории известно, что начальный участок должен подчиняться определенному закону, выраженному аналитически и зависящего от двух параметров. Назовем их R и I. Известно, также, предельное значение действия этого закона. Предел определяется неравенством $RX_i < 1$, где $X_i$ ордината i-той точки.
До этого момента все хорошо. Задача решается по методу наименьших квадратов и контролируется правая граница. Благо точек немного и это можно сделать простым перебором, последовательно увеличивая индекс правой границы.
Но!!! Вся проблема в том, что в начале этой кривой часто присутствуют артефакты, вызванные особенностями состояния исследуемого вещества. Эту часть кривой также необходимо исключить, т.е. найти индекс точки с которой начинается кривая, подчиняющаяся аналитическому выражению.
Итак, задача. Необходимо найти параметры аналитического выражения и максимальные границы эксперементальной кривой, где экспериментальная кривая совпадает с аналитическим выражением.
Существуют ли какие-то стандартные методы для решения подобной задачи или это надо делать простым перебором?

Заранее всем признателен, кто примет участие

[Фантом]

Какого-то совсем стандартного способа, пожалуй, нет, но есть некоторые более-менее очевидные идеи.

Например, можно с помощью МНК считать параметры зависимости для наборов точек, каждый раз добавляя в набор по одной точке с той стороны, где ожидаются артефакты. В тот момент, когда погрешности определения параметров начнут расти, процесс прекращается, и все, что не попало в обработку, объявляется артефактами. Надо только не забыть, что в самом начале процесса может наблюдаться такой же эффект (ну, например, погрешности при построении прямой по трем точкам заведомо будут больше, чем при построении той же прямой по двум точкам).

[mmu]

Фантом в сообщении #269264 писал(а):

Какого-то совсем стандартного способа, пожалуй, нет, но есть некоторые более-менее очевидные идеи.

Это я и подозревал . Но надеялся, что должен быть метод для поиска стабильного решения. По идее, здесь должно быть стабильное решение, которое сохраняется не зависимо от интервала, расположенного внутри искомого

Цитата:

Например, можно с помощью МНК считать параметры зависимости для наборов точек, каждый раз добавляя в набор по одной точке с той стороны, где ожидаются артефакты. В тот момент, когда погрешности определения параметров начнут расти, процесс прекращается, и все, что не попало в обработку, объявляется артефактами.

Эта часть тоже остается неочевидной. Потому что, во-первых, остается открытым вопрос, а с какой точки надо начинать? Ведь от этого будет зависеть третье условие: $R X_{max} < 1$. Во-вторых, не исключена ситуация, что участок аналитической кривой "утонул" в артефакте и тогда надо принять решение, что задача не имеет решения (извиняюсь за тафталогию)
Возможно, надо использовать как-то информацию об ошибках измерения! Дело в том, что известно, что ошибки распределяются по Пуассону

Цитата:

Надо только не забыть, что в самом начале процесса может наблюдаться такой же эффект (ну, например, погрешности при построении прямой по трем точкам заведомо будут больше, чем при построении той же прямой по двум точкам).

Конечно. Есть минимальное значение количества точек, используемых при анализе

[Someone]

А если методом наименьших квадратов обработать все точки и посмотреть, какие из них "выпадают"?

А почему тема в дискуссионном разделе по физике?

[mmu]

Someone в сообщении #269331 писал(а):

А если методом наименьших квадратов обработать все точки и посмотреть, какие из них "выпадают"?

Вы имеете ввиду, обработать все точки путем последовательного тестирования всех возможных комбинаций точек? Именно так я сейчас и делаю. Но здесь мне не совсем понятен критерий "выпадения". Эксперимент, как я писал выше, имеет определенную погрешность и как принять решение о том, что граничная точка пока еще входит в допустимую погрешность в том или другом случае? И кроме того я надеялся на какой-то более красивый метод решения.

Цитата:

А почему тема в дискуссионном разделе по физике?

Я первый раз набрел на этот чудный форум и после долгих раздумий решил, что коли задача имеет под собой физический эксперимент, то надо идти "сюда". Еще раз извиняюсь, если место определено некорректно

[photon]

Перенес, сменил заголовок - думаю, так будет лучше

[Someone]

mmu в сообщении #269383 писал(а):

Вы имеете ввиду, обработать все точки путем последовательного тестирования всех возможных комбинаций точек? Именно так я сейчас и делаю.

Нет, я имел в виду не это. Просто свалить все точки в одну кучу и подобрать параметры в формуле методом наименьших квадратов. Потом сравнить "теоретические" значения с экспериментальными, и точки, где погрешность очень большая, отбросить. Это может сработать, если "выпадающих" точек не очень много. Но, вообще говоря, "отбрасывание" точек - процедура потенциально опасная. Так можно и вообще все точки выкинуть. Но я в этих вопросах не большой специалист, может быть, кто более полезный совет даст. Для более конкретного совета может потребоваться более конкретная информация о задаче.

mmu в сообщении #269383 писал(а):

Я первый раз набрел на этот чудный форум и после долгих раздумий решил, что коли задача имеет под собой физический эксперимент, то надо идти "сюда". Еще раз извиняюсь, если место определено некорректно

Ну, не знаю. Это совершенно точно не дискуссионная тема (там всякие альтернативщики излагают свои доморощенные теории). Однако в "Помогите решить/разобраться" будет как раз. Куда лучше - в математику или в физику - не знаю.

[mmu]

Someone в сообщении #269479 писал(а):

Просто свалить все точки в одну кучу и подобрать параметры в формуле методом наименьших квадратов. Потом сравнить "теоретические" значения с экспериментальными, и точки, где погрешность очень большая, отбросить. Это может сработать, если "выпадающих" точек не очень много. Но, вообще говоря, "отбрасывание" точек - процедура потенциально опасная. Так можно и вообще все точки выкинуть.

Категорически с Вами согласен. Именно так мне и приходиться поступать в первом приближении и определять максимальную границу. А затем я перехожу к не совсем корректной итерационной процедуре. Некорректность ее именно в том и состоит, что "живых" точек не так уж и много. Артефактных бывает гораздо больше. Главное условие, что закон применим тольно на начальном участке кривой и этот участок зависит от одного из параметров апроксимации ($R$). Поэтому приходиться на одном шаге итерации определять $R$, тут же начинать отбрасывать артефактные точки (изменять минимальную границу) и опять пересчитывать $R$, контролируя, что пока еще выполняется условие на максимальной границе ($R X_{max} < 1$). Если условие перестает выполняться, меняю значение максимальной границы и в этом случае приходиться сперва уменьшать нижнюю границу, а потом уже, если значения параметров сохраняются, опять пытаться ее увеличивать. Выхожу из этого безобразия по условию, что изменение двух параметров аппроксимирующей кривой изменяется меньше какого-то значения, которое я пытаюсь определить из величин ошибок эксперемента (но не уверен, что делаю это правильно). Либо если число точек становиться меньше некой имперической константы. Тогда принимается решение о порочности эксперементальных данных, т.е. артефакт перевалил за границу апроксимации.
Вот собственно и все.
Правильно ли это или не правильно - не могу уверенно сказать. Но в любом случае всем благодарен за участи. Из ответов я понял, что по крайней мере, кардинально другого пути нет.