2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




На страницу 1, 2  След.
 
 Отсев грубых погрешностей
Сообщение05.06.2013, 11:40 
Здравствуйте,
я не являюсь студентом или школьником и поэтому я не ищу готового решения. Я ищу совета.

У меня есть набор случайных точек на карте, большинство из которых находятся внутри воображаемого прямоугольника.
Однако несколько точек часто оказываются за пределами этого прямоугольника и это осложняет мне последующий анализ их.
Данные приходят со стороны, и поэтому отредактировать их на стороне сервера я не могу. Только у себя.

Я знаю, что существует методика нахождения таких отклонений, но не умею ей пользоваться. Могу, кроме того, добавить, что в статистике я полный ноль. Все что я нашел вынесено в заголовок, но в данный момент это мне помогает мало.

Мне нужно, короче говоря, описание процесса того, как мне избавиться от лишних точек. Это может быть ссылка (русская, английская). Это может быть короткое описание шагов.

В конечном счете, мне это надо запрограммировать на Яве, поэтому если вдруг случайно кто-то видел примеры, то мне это поможет. Но это, конечно, не обязательно.

Если мое описание кажется вам мутным, помогите мне его уточнить.

Спасибо.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 13:19 
Аватара пользователя
Размеры прямоугольника заданы?

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 13:47 
Размеры прямоугольника не заданы.

Суть такова: у меня есть множество точек (широта, долгота, температура) и подавляюще бОльшая часть этих точек гарантировано лежит как надо -- внутри нужной области. Мне эти точки надо триангулировать и далее я рисую изолинии.

Но вот несколько штук (не всегда, но часто) лежат в других местах карты.

Ни размер области, ни количество точек заранее не известны.
Мне надо как-о вычислить общую тенденцию большинства точек и отсечь те, которые эту тенденцию не поддерживают.

Прошу прощения за мой волапюк, я даже терминологии не знаю.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 14:15 
Аватара пользователя
monoid в сообщении #732953 писал(а):
Мне надо как-о вычислить общую тенденцию большинства точек и отсечь те, которые эту тенденцию не поддерживают.

Тенденция это $T=T(x,y)$?

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 15:21 
Аватара пользователя
Ну, если координаты вершин прямоугольника известны, то задача тривиальна? Т.е. надо ещё и оценить этот прямоугольник? На момент оценивания все точки известны? Или надо по мере поступления? Что за "выбросы", распределение, дисперсия?

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 16:20 
Если бы я знал координаты углов...

Из базы приходит последовательность точек, порядка у них нет. Например:
MULTIPOINT ((20.5 45.25 15.5), (23.2 94.3 14.0), (20.1333 92.8833 14.2), (19.4166 93.55 16.0)) и так далее. Первые два числа из тройки это координаты. Получается множество точек, которые надо обработать. Но некоторые точки лежат слишком далеко и они не нужны. Мне эти точки надо найти программно и удалить из списка.

Я предполагаю, что есть какая-то математическая методика, которая может помочь вычислить ненужные точки.
Изображение

-- 05.06.2013, 16:25 --

Красный прямоугольник -- это т.н. конверт и в данном случае он нерелевантен, он вычисляется ПОСЛЕ триангуляции.

А мне надо убрать лишнюю точку ДО триангуляции.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 16:38 
Аватара пользователя
monoid в сообщении #733019 писал(а):
Из базы приходит последовательность точек, порядка у них нет. Например:
MULTIPOINT ((20.5 45.25 15.5), (23.2 94.3 14.0), (20.1333 92.8833 14.2), (19.4166 93.55 16.0)) и так далее. Первые два числа из тройки это координаты.

А третья - температура?

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 16:48 
да, но она в данном случае не важна, она нужна сильно позже.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 17:08 
Аватара пользователя
А окружность вместо прямоугольника не годится?

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 17:37 
а к чему вы клоните?
пусть будет окружность (хотя как?) лишь бы понять как оно работает.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение05.06.2013, 17:48 
Аватара пользователя
Это что-то из теории распознавания образов. Краем уха от Н.Г. Загоруйко слышал про таксоны и про методы их выделения - у Вас отсекание лишнего.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение06.06.2013, 01:20 
Аватара пользователя
monoid в сообщении #733055 писал(а):
пусть будет окружность (хотя как?) лишь бы понять как оно работает.

Рассмотрим на примере 3-х точек. Для каждой известны координаты: $(x_1;y_1), (x_2;y_2), (x_3;y_3).$ Определяем их среднее местоположение $(x_0;y_0).$ Далее считаем отклонение каждой точки от среднего местоположения $r_1, r_2, r_3$ и проверяем гипотезу о статистически значимом отклонении максимального значения из $(r_1, r_2, r_3)$.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение06.06.2013, 03:15 
Аватара пользователя
Понял как сделать для прямоугольника. Считаете для х-вой координаты среднее $(x_0)$ и ско $(\sigma_x)$, для у-вой соответственно $(y_0)$ и $(\sigma_y)$. Строете прямоугольник со сторонами
$(x_0-3\sigma_x;x_0+3\sigma_x)$ и $(y_0-3\sigma_y;y_0+3\sigma_y)$. Всё что в него не попало, выбрасывайте.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение06.06.2013, 03:25 
Аватара пользователя
А чем прямоугольник отличается от круга? Метрика другая и только.

 
 
 
 Re: Отсев грубых погрешностей
Сообщение06.06.2013, 05:47 
Аватара пользователя
Для круга я бы по распределению Релея выбросы отсеивал.

 
 
 [ Сообщений: 18 ]  На страницу 1, 2  След.


Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group