Непараметрическая линия регрессии - через что проводить?

[Korvin]

Добрый день, коллеги. Помогите разобраться, плз.
Наклон непараметрической линии регрессии можно оценить согласно Тейлу как медиану наклона множества всех возможных прямых, проведенных через 2 точки. А вот затем отчего-то рекомендуется прямую с найденным наклоном провести через ЦТ точек (перенести параллельно себе), т.е. прибегаем к гауссовой статистике (нахождению СА) для нахождения точки пересечения с осью ординат. Нет ли здесь какого противоречия и не целесообразно ли провести прямую непараметрической регрессии через другую меру центральной тенденции, тоже непараметрическую, пускай ту-же медиану?

[Korvin]

Жаль, тема никого не заинтересовала. Хотелось бы услышать мнения, но понимаю, что тут никто никому ничего не обязан. Но таки: возможно ли использовать одну из всех возможных кривых не только для оценки угла наклона, но и для оценки значения у, путем определения медианы ординат, отсекаемых линиями в любой точке на оси абсцисс?

[--mS--]

Понимаете, сама формулировка выглядит оксюмороном: непараметрическая линия регрессии. Если линия = прямая (как следует из Вашего сообщения), то регрессия параметрическая. Даже двупараметрическая Кто такое "Тейл", я не знаю, поэтому понять, что Вы имеете в виду, не представляется возможным.

[Korvin]

Спасибо за ответ, но Тейл - это человек, автор метода, схожего с методом Ходжеса-Лемана. Если точнее, то это непараметрический метод определения угла наклона линии регрессии. В любом случае линия - это линия и имеет наклон и отсекает отрезок на оси ординат. Но поскольку через точки можно провести множество этих линий, стоит задача выбора одной, наиболее представительной. тейл эту задачу решил исходя из необходимости оценить наклон линии регрессии. В моем вопросе речь идет о том, можно ли подобным образом оценивать отсекаемые на перпендикулярах к оси абсцисс отрезки. Т.е. находить весь ряд значений и брать медиану, насколько это корректно.

[Евгений Машеров]

Тейл это Henri (Hans) Theil, голландский эконометрист. Такую процедуру регрессии он предложил в 1950, разумеется, не как "непараметрическую", поскольку вычисляются два параметра - наклон и свободный член, а как робастную к выбросам и при этом простую.
Среднее в оригинальной работе Тейла появилось, полагаю, в стремлении сохранить "совместимость" с обычной процедурой линейной регрессии, дабы, получив одинаковые значения наклона, не смущать различием свободного члена. Разумеется, требование робастности делает медиану привлекательнее. Но он выбрал среднее.
Для наклона у него выбора не было. Если два значения x весьма близки, наклон получается очень велик, и усреднять это значение бессмыслено. То есть только медиана.
После него вопрос об оценке среднего ставился, и были предложены и другие оценки. Одна используется в пакете SAS и описана тут:
http://vista.cira.colostate.edu/improve ... ssionl.pdf

[--mS--]

(Оффтоп)

О, теперь понятно: методы непараметрические, а регрессия вполне себе параметрическая. Спасибо!

[Евгений Машеров]

Можно почитать самого Тейла:
http://www.dwc.knaw.nl/DL/publications/PU00018789.pdf
http://pbadupws.nrc.gov/docs/ML1330/ML13304B787.pdf
http://www.dwc.knaw.nl/DL/publications/PU00018886.pdf
(Это не три ссылки, а три части статьи)
И, если я правильно понял, "непараметрика" там в построении доверительных интервалов в отсутствие предположения нормальности распределения.

[Korvin]

Здравствуйте, коллеги. Спасибо за обсуждение, помогло разобраться формально. Но вот вопрос напрашивается сам собой. Если число значений x четно и x возрастают (требуется упорядочить, в простейшем случае это просто порядковые числа), массив x разбивается на 2 равные части, и проводятся линии через первую точку первой части и первую точку второй части, затем через вторые точки и т.п. На любом перпендикуляре к оси абсцисс линиями отсекаются точки, наиболее представительным значением считается медиана. Если число значений x нечетно, предлагается избавиться от среднего в ряду отсчета. Скажем, имею отсчеты с понедельника по воскресенье, всего 7, приходится выбрасывать четверг. Нет ли противоречия в таком решении? А если наоборот, с целью доведения числа отсчетов до четного, учитывать четверг 2 раза? (Аналогично при любом нечетном значении). И тогда через соответствующее значение y проведутся 2 линии, что интуитивно лучше, чем полный неучет значения. Либо же эти 2 метода равнозначны в плане внесения погрешности, в первом случае путем исключения части информации, в другом путем придания части информации бОльшего веса?

[Lukum]

Я не вчитывался в вашу задачу, но думаю вам может пригодиться следующее.
Берете значения массива с точки 1 по 4, далее со 2 по 5, с 3 по 6, с 4 по 7. Получаете четное число подмассивов с четным числом элементов. Находите свои точки на подмассивах. Затем применяете процедуру к массиву из точек, определенных по подмассивам.

[Yuri Gendelman]

Эта книга может пригодиться:
Хардле В. Прикладная непараметрическая регрессия.
На английском:
Wolfgang Härdle. Applied Nonparametric Regression

[Евгений Машеров]

А когда мы перешли от обсуждения метода Тейла к методу с разбиением выборки на две части?
И не лучше ли для нового вопроса открывать новую тему, ведь связи с ранее обсуждаемым методом нет?

[Korvin]

Евгений Машеров в сообщении #907429 писал(а):

А когда мы перешли от обсуждения метода Тейла к методу с разбиением выборки на две части?
И не лучше ли для нового вопроса открывать новую тему, ведь связи с ранее обсуждаемым методом нет?

Прошу прощения, правило знал, но решил, что тема не меняется, оттого как вопрос был не о наклоне непараметрической линии регрессии (по Тейлу), а о свободном члене уравнения регрессии, intercept, и о неудовлетворенности предложением Тейла проводить линию с рекомендуемым наклоном через СА. И мне большую помощь оказала Ваша ссылка на неизвестный мне метод заложенный в SAS. Два этих метода и связываются интересующим меня интерсептом.

[Евгений Машеров]

Я о том, что в исходном методе Тейла строятся все $\frac {n(n-1)} 2$ возможных линий, вычисляются их наклоны и берётся медиана из них (есть модификации - точки с равными х не рассматриваются, другая модификация - для каждой точки строится (n-1) линия, проходящая через прочие, и считается медиана наклонов, а потом в качестве наклона берётся медиана этих медиан; но метод с парами точек, отстоящими на равное число рангов - это что-то не то, что предлагал Тейл и последователи).

[Korvin]

Евгений Машеров в сообщении #907702 писал(а):

Я о том, что в исходном методе Тейла строятся все $\frac {n(n-1)} 2$ возможных линий, вычисляются их наклоны и берётся медиана из них (есть модификации - точки с равными х не рассматриваются, другая модификация - для каждой точки строится (n-1) линия, проходящая через прочие, и считается медиана наклонов, а потом в качестве наклона берётся медиана этих медиан; но метод с парами точек, отстоящими на равное число рангов - это что-то не то, что предлагал Тейл и последователи).

Вот мне интуитивно и непонятно, раз работает метод с парами равноотстоящих точек (может, я чего не понял, но в этом случае точки не ранжируются по y, а ранжируются по x, но у меня x порядковые числа, номера, отчего такое ранжирование по умолчанию), то отчего не работает скажем то, чего Тейл кажется не предлагал, но интуитивно напрашивается само собой - в качестве интерсепта брать медианы отрезков, отсекаемых на любом перпендикуляре к оси абсцисс всеми $\frac {n(n-1)} 2$ возможными линиями? По сути речь идет о сглаживании данных с выпадающими значениями окном, возможно это сглаживание более плавное, чем медианой.

[Евгений Машеров]

А он работает, с парами равноотстоящих точек? Не могу утверждать, что нет, но это какой-то другой метод. И для него надо работоспособность проверять отдельно. Как и для Вашего метода. Который, может, и хорош - но ничего о нём утверждать не могу.