Экстраполяция

[Стрехнин]

Здравствуйте ! Порекомендуйте литературу по экстраполяции таблично заданной функции.

[ewert]

Экстра или интер?

[Стрехнин]

Уточняю. Экстраполяция. Книг по Интерполяции очень много, тогда как по экстраполяции я не смог найти книги, где она была бы подробно рассмотрена.

[Алексей К.]

И мне никогда не попадались. Наверное, потому, что

вот и Википедия тоже писал(а):

Методы экстраполяции во многих случаях сходны с методами интерполяции

Действительно, что можно ещё придумать? Аккуратненько проинтерполировал --- осторожненько проэкстраполировал...

[worm2]

Как говорилось в известном приколе про то, как поймать льва в пустыне:

Цитата:

Математик садится в клетку и запирает себя на ключ. Потом производит инверсию пространства, в результате которой он оказывается снаружи клетки, а лев --- внутри

[Eugeen1948]

Стрехнин писал(а):

Здравствуйте ! Порекомендуйте литературу по экстраполяции таблично заданной функции.

Наболее надёжные результаты по построению экстраполяционной функции для произвольной, таблично заданной, получаются нейросетевыми методами. Не вдаваясь сейчас в сложные выкладки и подробности (при необходимости читайте Саймон Хайкин, "Нейронные сети, полный курс", Изд. "Вильямс", 2006 г.) укажу, что нейросети на основе RBF или MLP являются универсальными аппроксиматорами. Особенностью обучения НС является использование т.н. перекрестной проверки, что является детектором качества НС-аппроксимации с одной стороны и может рассматриваться как фактический экстраполятор с другой!

[Стрехнин]

Всем спасибо за подсказку.

[ArgMax]

Корректна ли сама постановка задачи экстраполяции? Т.е. каким образом можно получить дополнительную информацию из ничего?

[PAV]

Во-первых, смотря как сформулировать "постановку задачи" и что считать "корректным". При экстраполяции исходят из предположения, что функция будет вести себя "примерно так же" как и на отрезке, где ее значения известны. Естественно, это приходится принять на веру.

[profrotter]

ArgMax в сообщении #272350 писал(а):

Корректна ли сама постановка задачи экстраполяции? Т.е. каким образом можно получить дополнительную информацию из ничего?

При экстраполяции полагается, что последующие значения функции каким-либо образом зависят от предыдущих.

В простейшем случае рассматривается экстраполяция гладкой функции на основе ряда (усечённого ряда) Тейлора. Исходя из структуры ряда можно сделать вывод, что гладкая функция определена своим значением и значениями своих производных в любой точке.

Для экстраполяции осуществляется оценка производных экстраполируемой функции по доступным данным о ней (в соотвествии со степенью гладкости) в некоторой точке, близкой к левой границе интервала экстраполяции, после чего записывается выражение для экстраполирующей функции на основе ряда Тейлора.

Eugeen1948 в сообщении #152846 писал(а):

Стрехнин писал(а):

Здравствуйте ! Порекомендуйте литературу по экстраполяции таблично заданной функции.

Наболее надёжные результаты по построению экстраполяционной функции для произвольной, таблично заданной, получаются нейросетевыми методами. Не вдаваясь сейчас в сложные выкладки и подробности (при необходимости читайте Саймон Хайкин, "Нейронные сети, полный курс", Изд. "Вильямс", 2006 г.) укажу, что нейросети на основе RBF или MLP являются универсальными аппроксиматорами. Особенностью обучения НС является использование т.н. перекрестной проверки, что является детектором качества НС-аппроксимации с одной стороны и может рассматриваться как фактический экстраполятор с другой!

Труд Хайкина хотя и обширный, но даёт довольно слабое теоретическое обоснование возможности применения НС для экстраполяции, лишь утверждая, что экспериментално показно, что из НС получаются неплохие экстраполяторы. Нет никаких рекомендаций о выборе количества слоёв НС и количества нейронов в слое, не решён вопрос о достаточности обучающих выборок. Более того, конкретная НС обучается на конкретных примерах, то есть является не универсальным экстраполятором, а экстраполятором для того класса процессов, реализации которых использовались на этапе обучения. И главное: простому смертому, которому надо два три раза проэкстраполировать таблицу (то есть обучающими данными он не располагает), программирование и обучение НС совершенно не к чему.

Тоже буду рад зачитать информацию о методах экстраполирования и книгах.

[profrotter]

Есть у меня ещё нехорошие (для любителей вставлять нейронные сети во все и вся) размышления о аппроксимации, интерполяции и экстраполяции. Дело в том, что при сложении двух дискретных функций, соответствующие им приближающие (аппроксимирующие, интерполирующие или экстраполирующие) функции также должны складываться. Этот тезис на мой взгляд довольно самоочевиден. А это означает, что всякий алгоритм аппроксимации, интерполяции и экстраполяции является линейным алгоритмом: результат его применения к линейной комбинации двух дискретных функций является такой же линейнной комбинацией из результатов его отдельного применения к каждой из функций. То есть приближающую функцию можно представить в виде:

$$\Psi(t)=\sum\limits_{n=1}^{N-1}f(t_n)\Phi_n(t)$$

где $N$ - количество отсчётов в обрабатываемом блоке, $f(t_n)$ - отсчёт приближаемой функции, $\Phi_n(t)$ - линейно-независимые базисные функции, $t$ - момент времени, в который определяется значение приближающей функции.
Записанному выражению соответствует предельный вариант нейронной сети - обыкновенный взвешенный сумматор с коэффициентами $\Phi_n(t)$.
Если рассматривается обучение многослойной нейронной сети, то ввиду требований линейности к алгоритму в результате обучения она оказывается внешне линейной, то есть все нелинейности, обусловленные использованием какой-либо, отличной от тождественной, функции активации не будут иметь места, что фактически означает, что данные на выходах сумматоров нейронов будут изменяться в таком диапазоне, который позволяет задействовать лишь линейные участки графиков функций активации. А в целом вся эта могучая многослойная машина окажется эквивалентной взвешенному сумматору.

Поэтому интерес для приближения функций могут представлять лишь рекурсивные нейронные сети. Дают ли они какой - либо выигрыш по сравнению с описанным мною линейным приближением для меня пока не ясно.

[PAV]

profrotter в сообщении #418358 писал(а):

Дело в том, что при сложении двух дискретных функций, соответствующие им приближающие (аппроксимирующие, интерполирующие или экстраполирующие) функции также должны складываться. Этот тезис на мой взгляд довольно самоочевиден. А это означает, что всякий алгоритм аппроксимации, интерполяции и экстраполяции является линейным алгоритмом: результат его применения к линейной комбинации двух дискретных функций является такой же линейнной комбинацией из результатов его отдельного применения к каждой из функций.

Тут не все так очевидно, как может показаться на первый взгляд. Возьмите дискретную функцию и разбейте ее в сумму двух следующим образом: одно слагаемое равно исходной функции на первой половине отрезка и нулю на второй, второе слагаемое - наоборот. Для такой суммы Ваше утверждение применять нельзя. Менее очевидный пример: одно слагаемое совпадает с исходной функцией в точках с четными номерами, второе - с нечетными. По сути обе новые функции описывают ту же закономерность, что и исходная функция, но при этом каждая из них несет в себе вдвое меньше информации, а это для любой экстраполяции довольно критично. Так что здесь нельзя утверждать, что сумме функций должна непременно соответствовать сумма экстраполяций. Информация о зависимости растет нелинейно, так что все сложнее.

[profrotter]

PAV в сообщении #418365 писал(а):

Тут не все так очевидно, как может показаться на первый взгляд. Возьмите дискретную функцию и разбейте ее в сумму двух следующим образом: одно слагаемое равно исходной функции на первой половине отрезка и нулю на второй, второе слагаемое - наоборот. Для такой суммы Ваше утверждение применять нельзя. Менее очевидный пример: одно слагаемое совпадает с исходной функцией в точках с четными номерами, второе - с нечетными. По сути обе новые функции описывают ту же закономерность, что и исходная функция, но при этом каждая из них несет в себе вдвое меньше информации, а это для любой экстраполяции довольно критично. Так что здесь нельзя утверждать, что сумме функций должна непременно соответствовать сумма экстраполяций. Информация о зависимости растет нелинейно, так что все сложнее.

Информационный подход может быть применим лишь при рассмотрении случайных процессов. Здесь же мы имеем дело с детерминированной задачей: рассматривается известная совокупность дискретных значений фукнции $\left\{f(t_n)\right\}$ и в заданный момент времени вычисляется значение экстраполирующей функции:

$$\Psi(t)=F(\left\{f(t_n)\right\};t)$$

Причём функция $F(\left\{y_n\right\};t)$ определена однозначно. Соверешнно не важно как вычисляется эта фукнция - по некоторой форумуле или в виде нерекурсивной нейронной сети. В вашем первом примере вы предположили, что результат экстраполяции слагаемого с первой части интервала будет равен нулю. Это отнюдь не общий факт. Это будет иметь место лишь в том случае, когда алгоритм экстраполяции не учитывает значения отсчётов на том интервале, где отличается от нуля первое слагаемое. Но в таком случае оно не будет учтено и при экстраполяции результирующей функции.
Теперь ещё раз о требовании линейности алгоритмов приближения детерминированных функций. Рассмотрим три функции, такие что $f(t)=f_1(t)+f_2(t)$ на интервале $[a,b]$. Теперь попробуем применить алгоритм экстраполяции этих функций с некоторого отрезка $[a,c]$, где $c<b$ на весь отрезок [a,b]$. Очевидно, что если на интервале экстраполяции [с,b]$ не выполняется $f(t)=f_1(t)+f_2(t)$, то рассмотренный алгоритм даёт неверный результат.
Вообще говоря, можно потребовать инвариантность алгоритма экстраполяции и относительно произведения двух функций, а также относительно всякого однозначного преобразования. То есть если экстраполирующая функция однозначно определена совокупностью некоторых данных, преобразование этих данных должно соответствовать и преобразованию экстраполирующей функции. Естественно, удовлетворение этих требований возможно только в идеализированном случае.

[profrotter]

Можно даже так переформулировать сказанное: Если на том интервале, где значения функции известны она является суммой двух других функций, то экстраполятору просто ничего не остаётся, кроме как экстраполировать и это соотношение между функциями. Хотя на самом деле это, конечно, может быть и не так. Например, это представление в виде суммы может прекратить иметь место быть начиная с некоторого момента времени, который относится к интервалу экстраполяции, но пока экстраполятор этого не обнаружил "у него нет оснований в этом сомневаться".

А вообще, конечно, требуется эксперимент. Надо обучить нейронную сеть для экстраполяции и проверить выполнения свойства линейности. Если выполянется - сеть эквивалентна взвешенному сумматору.

[PAV]

profrotter в сообщении #418500 писал(а):

Очевидно, что если на интервале экстраполяции $[c,b]$ не выполняется $f(t)=f_1(t)+f_2(t)$, то рассмотренный алгоритм даёт неверный результат.

Вот в том-то и дело, что это вовсе не очевидно. В общем виде это ниоткуда не следует, и я попытался это продемонстрировать примерами. Вы считаете, что это естественное требование и оно должно выполняться? - пожалуйста, это Ваше право, но я всего лишь призываю помнить, что это Ваш личный взгляд, и другие совершенно не факт, что его поддержат