Многомерная регрессия

[@nger]

Добрый день, коллеги.

Просьба оказать интеллектуальное содействие по следующей задаче.

Имеется абстрактный случайный процесс $f(x_{1}, x_{2}, ..., x_{n})$. В определенные моменты времени $t$ имеется эмпирическая совокупность его реализаций $f(x^*_{1}, x^*_{2}, ..., x^*_{n})=f^*$. Имеется задача получения либо аналитического выражения $y(x^*_{1}, x^*_{2}, ..., x^*_{n})$, либо (что гораздо более желанно) численного метода, позволяющего обеспечить сглаживание исходной функции в ходе накопления объемов статистики.

Вспоминая инженерный курс выч.мата припоминаются различные методы аппроксимации: интерполяция (вроде как подразумевается гарантирование $f(x^*_{1}, x^*_{2}, ..., x^*_{n}) = y(x^*_{1}, x^*_{2}, ..., x^*_{n})$) и регрессия (как раз-таки без отсутствия гарантии указанного равенства) плюс частный случай регрессии - сглаживание. Задача сводится к поиску медода вычисления именно регрессии для многомерной функции, поскольку требуется избежать массового равенства значений базовой функции и приближения в точках $(x^*_{1}, x^*_{2}, ..., x^*_{n})$.

Задача будет решаться машинно в рамках функционирования "боевой" системы на лету, $n$ в отдельных постановках задачи может достигать пары тысяч. Соответственно, классические методы вычисления аппроксимирующих полиномов тысячных степеней мягко говоря смущают ввиду бешеной ресурсоемкости.

Прошу порекомендовать что почитать, куда посмотреть, как обзывается подобное численное чудо. Благодарю.

[Lia]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Просьба правильно оформить формулы.

Запишите формулы в соответствии с требованиями Правил форума, т.е. в $\TeX$.
Краткие инструкции можно найти здесь: topic8355.html и topic183.html.
Кроме этого, в теме Видео-пособия для начинающих форумчан можно посмотреть видео-ролик "Как записывать формулы".

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Lia]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»
Причина переноса: не указана.

[мат-ламер]

@nger в сообщении #877913 писал(а):

Имеется абстрактный случайный процесс

Не пугайте потенциальных погомогающих. Лучше скажите, что надо решить задачу регрессии.

-- Сб июн 21, 2014 23:08:30 --

@nger в сообщении #877913 писал(а):

Соответственно, классические методы вычисления аппроксимирующих полиномов тысячных степеней мягко говоря смущают ввиду бешеной ресурсоемкости

Тут есть и другие поводы для смущения. Эту идею следует отбросить.

[@nger]

мат-ламер в сообщении #878081 писал(а):

Не пугайте потенциальных погомогающих.

Строго говоря, да, в рамках темы обсуждения характер параметров функции не принципиален. Будем полагать безоговорочный детерминизм, если так проще.

мат-ламер в сообщении #878081 писал(а):

Лучше скажите, что надо решить задачу регрессии.

По Вашей наводке нашел вот такую работу. Можете подтвердить, что (по крайней мере концептуально) обозначенный в работе способ вычисления полиномиальной многомерной регрессии задачу решить позволяет?

мат-ламер в сообщении #878081 писал(а):

Тут есть и другие поводы для смущения. Эту идею следует отбросить.

Прошу детализировать что конкретно смущает в дополнение к озвученному. Я правильно понимаю, что основная причина нереализуемости - порядки степеней? Если же допустить кол-во параметров равным 10 ситуация меняется?

[мат-ламер]

@nger в сообщении #878104 писал(а):

Я правильно понимаю, что основная причина нереализуемости - порядки степеней? Если же допустить кол-во параметров равным 10 ситуация меняется?

Во-первых, если с увеличением степени полинома ошибка не уменьшается, то это говорит, что вместо полимиальной модели может стоит поискать что-то лучшее. Во-вторых, с увеличением степени полинома накапливаются ошибки вычислений.

@nger в сообщении #878104 писал(а):

Можете подтвердить, что (по крайней мере концептуально) обозначенный в работе способ вычисления полиномиальной многомерной регрессии задачу решить позволяет?

Не могу. Работу не читал и разбираться некогда. Можете воспользоваться статистическим пакетами.

@nger в сообщении #878104 писал(а):

Будем полагать безоговорочный детерминизм, если так проще.

Детерминизм тут не причём. Регрессия подразумевает случайность. Я имел в виду, что случайный процесс может подразумевать зависимость между наблюдениями.

[@nger]

мат-ламер в сообщении #878186 писал(а):

Детерминизм тут не причём. Регрессия подразумевает случайность. Я имел в виду, что случайный процесс может подразумевать зависимость между наблюдениями.

Сдается мне под регрессией мы понимаем разное. Меня интересует существование многомерных реализаций методов расчета регрессии в следующем ключе. Как Вы можете убедиться в данном смысле ни о какой стохастике речи не идет.

Судя по всему по Вашей ссылке регрессионный анализ направлен на иные задачи.

мат-ламер в сообщении #878186 писал(а):

Можете воспользоваться статистическим пакетами.

Основная проблема в том и заключается, что задача должна решаться в машинно на неком бортовом вычислителе, как я и говорил ранее => о windows, linux, специализированных мат. пакетах говорить не приходится. Увы, но возможна лишь собственная низкоуровневая реализация метода. Да и по только что приведенной ссылке задача решается макимум для 3х-мерных случаев.