2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 аппроксимация, погрешность при наличии артефактов
Сообщение08.12.2009, 22:51 


08/12/09
4
Россия, Ростов-на-Дону
Доброго всем времени суток.

Первый раз на этом форуме и поэтому могу не знать каких-то правил. Заранее прошу прощения.

Суть проблемы.
Имеется последовательность измерений физической величины в количестве N штук, которая образует убывающий график. Последовательность, естественно, имеет некоторую ошибку измерений. Из теории известно, что начальный участок должен подчиняться определенному закону, выраженному аналитически и зависящего от двух параметров. Назовем их R и I. Известно, также, предельное значение действия этого закона. Предел определяется неравенством $RX_i < 1$, где $X_i$ ордината i-той точки.
До этого момента все хорошо. Задача решается по методу наименьших квадратов и контролируется правая граница. Благо точек немного и это можно сделать простым перебором, последовательно увеличивая индекс правой границы.
Но!!! Вся проблема в том, что в начале этой кривой часто присутствуют артефакты, вызванные особенностями состояния исследуемого вещества. Эту часть кривой также необходимо исключить, т.е. найти индекс точки с которой начинается кривая, подчиняющаяся аналитическому выражению.
Итак, задача. Необходимо найти параметры аналитического выражения и максимальные границы эксперементальной кривой, где экспериментальная кривая совпадает с аналитическим выражением.
Существуют ли какие-то стандартные методы для решения подобной задачи или это надо делать простым перебором?

Заранее всем признателен, кто примет участие

 Профиль  
                  
 
 Re: Помогите найти метод решения задачи
Сообщение09.12.2009, 01:47 


17/01/09
119
Какого-то совсем стандартного способа, пожалуй, нет, но есть некоторые более-менее очевидные идеи.

Например, можно с помощью МНК считать параметры зависимости для наборов точек, каждый раз добавляя в набор по одной точке с той стороны, где ожидаются артефакты. В тот момент, когда погрешности определения параметров начнут расти, процесс прекращается, и все, что не попало в обработку, объявляется артефактами. :D Надо только не забыть, что в самом начале процесса может наблюдаться такой же эффект (ну, например, погрешности при построении прямой по трем точкам заведомо будут больше, чем при построении той же прямой по двум точкам).

 Профиль  
                  
 
 Re: Помогите найти метод решения задачи
Сообщение09.12.2009, 09:56 


08/12/09
4
Россия, Ростов-на-Дону
Фантом в сообщении #269264 писал(а):
Какого-то совсем стандартного способа, пожалуй, нет, но есть некоторые более-менее очевидные идеи.
Это я и подозревал :cry: . Но надеялся, что должен быть метод для поиска стабильного решения. По идее, здесь должно быть стабильное решение, которое сохраняется не зависимо от интервала, расположенного внутри искомого
Цитата:
Например, можно с помощью МНК считать параметры зависимости для наборов точек, каждый раз добавляя в набор по одной точке с той стороны, где ожидаются артефакты. В тот момент, когда погрешности определения параметров начнут расти, процесс прекращается, и все, что не попало в обработку, объявляется артефактами.
Эта часть тоже остается неочевидной. Потому что, во-первых, остается открытым вопрос, а с какой точки надо начинать? Ведь от этого будет зависеть третье условие: $R X_{max} < 1$. Во-вторых, не исключена ситуация, что участок аналитической кривой "утонул" в артефакте и тогда надо принять решение, что задача не имеет решения (извиняюсь за тафталогию)
Возможно, надо использовать как-то информацию об ошибках измерения! Дело в том, что известно, что ошибки распределяются по Пуассону
Цитата:
Надо только не забыть, что в самом начале процесса может наблюдаться такой же эффект (ну, например, погрешности при построении прямой по трем точкам заведомо будут больше, чем при построении той же прямой по двум точкам).
Конечно. Есть минимальное значение количества точек, используемых при анализе

 Профиль  
                  
 
 Re: Помогите найти метод решения задачи
Сообщение09.12.2009, 10:26 
Заслуженный участник
Аватара пользователя


23/07/05
17973
Москва
А если методом наименьших квадратов обработать все точки и посмотреть, какие из них "выпадают"?

А почему тема в дискуссионном разделе по физике?

 Профиль  
                  
 
 Re: Помогите найти метод решения задачи
Сообщение09.12.2009, 13:47 


08/12/09
4
Россия, Ростов-на-Дону
Someone в сообщении #269331 писал(а):
А если методом наименьших квадратов обработать все точки и посмотреть, какие из них "выпадают"?
Вы имеете ввиду, обработать все точки путем последовательного тестирования всех возможных комбинаций точек? Именно так я сейчас и делаю. Но здесь мне не совсем понятен критерий "выпадения". Эксперимент, как я писал выше, имеет определенную погрешность и как принять решение о том, что граничная точка пока еще входит в допустимую погрешность в том или другом случае? И кроме того я надеялся на какой-то более красивый метод решения.
Цитата:
А почему тема в дискуссионном разделе по физике?
Я первый раз набрел на этот чудный форум и после долгих раздумий решил, что коли задача имеет под собой физический эксперимент, то надо идти "сюда". Еще раз извиняюсь, если место определено некорректно

 Профиль  
                  
 
 Re: Помогите найти метод решения задачи
Сообщение09.12.2009, 16:58 
Экс-модератор
Аватара пользователя


23/12/05
12046
 !  Перенес, сменил заголовок - думаю, так будет лучше

 Профиль  
                  
 
 Re: аппроксимация, погрешность при наличии артефактов
Сообщение09.12.2009, 17:17 
Заслуженный участник
Аватара пользователя


23/07/05
17973
Москва
mmu в сообщении #269383 писал(а):
Вы имеете ввиду, обработать все точки путем последовательного тестирования всех возможных комбинаций точек? Именно так я сейчас и делаю.


Нет, я имел в виду не это. Просто свалить все точки в одну кучу и подобрать параметры в формуле методом наименьших квадратов. Потом сравнить "теоретические" значения с экспериментальными, и точки, где погрешность очень большая, отбросить. Это может сработать, если "выпадающих" точек не очень много. Но, вообще говоря, "отбрасывание" точек - процедура потенциально опасная. Так можно и вообще все точки выкинуть. Но я в этих вопросах не большой специалист, может быть, кто более полезный совет даст. Для более конкретного совета может потребоваться более конкретная информация о задаче.

mmu в сообщении #269383 писал(а):
Я первый раз набрел на этот чудный форум и после долгих раздумий решил, что коли задача имеет под собой физический эксперимент, то надо идти "сюда". Еще раз извиняюсь, если место определено некорректно


Ну, не знаю. Это совершенно точно не дискуссионная тема (там всякие альтернативщики излагают свои доморощенные теории). Однако в "Помогите решить/разобраться" будет как раз. Куда лучше - в математику или в физику - не знаю.

 Профиль  
                  
 
 Re: аппроксимация, погрешность при наличии артефактов
Сообщение09.12.2009, 18:24 


08/12/09
4
Россия, Ростов-на-Дону
Someone в сообщении #269479 писал(а):
Просто свалить все точки в одну кучу и подобрать параметры в формуле методом наименьших квадратов. Потом сравнить "теоретические" значения с экспериментальными, и точки, где погрешность очень большая, отбросить. Это может сработать, если "выпадающих" точек не очень много. Но, вообще говоря, "отбрасывание" точек - процедура потенциально опасная. Так можно и вообще все точки выкинуть.
Категорически с Вами согласен. Именно так мне и приходиться поступать в первом приближении и определять максимальную границу. А затем я перехожу к не совсем корректной итерационной процедуре. Некорректность ее именно в том и состоит, что "живых" точек не так уж и много. Артефактных бывает гораздо больше. Главное условие, что закон применим тольно на начальном участке кривой и этот участок зависит от одного из параметров апроксимации ($R$). Поэтому приходиться на одном шаге итерации определять $R$, тут же начинать отбрасывать артефактные точки (изменять минимальную границу) и опять пересчитывать $R$, контролируя, что пока еще выполняется условие на максимальной границе ($R X_{max} < 1$). Если условие перестает выполняться, меняю значение максимальной границы и в этом случае приходиться сперва уменьшать нижнюю границу, а потом уже, если значения параметров сохраняются, опять пытаться ее увеличивать. Выхожу из этого безобразия по условию, что изменение двух параметров аппроксимирующей кривой изменяется меньше какого-то значения, которое я пытаюсь определить из величин ошибок эксперемента (но не уверен, что делаю это правильно). Либо если число точек становиться меньше некой имперической константы. Тогда принимается решение о порочности эксперементальных данных, т.е. артефакт перевалил за границу апроксимации.
Вот собственно и все.
Правильно ли это или не правильно - не могу уверенно сказать. Но в любом случае всем благодарен за участи. Из ответов я понял, что по крайней мере, кардинально другого пути нет.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Модераторы: photon, whiterussian, profrotter, Jnrty, Aer, Парджеттер, Eule_A, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group