0. "Аппроксимация" - то же, что "приближение". Proximae - "ближайший". Просто слово "приближение" в русском языке достаточно многозначно, например, может означать перемещение в пространстве, и это оправдывает использование иноязычных синонимов, у которых смысл определяется при их введении в терминологию.
1. Полиномы появились потому, что сложение учат в первом классе, а умножение в третьем. То есть функции, которые можно выразить, ограничиваясь лишь этими операциями, в определённом смысле самые простые. Их легко вычислять на ЭВМ (особенно на специализированных процессорах, сигнальных, скажем, на некоторых из которых вообще деления нет, а на других есть, но оно медленное, к примеру 16 тактов против 1 для умножения). Их просто дифференцировать и интегрировать. Но это не единственный класс функций, которыми аппроксимируют. В любом случае речь о том, что аппроксимация чем-то удобнее исходной функции - вычислять проще, или, скажем, легко получить результат действия каких-то операций (того же дифференцирования, или, скажем, линейной фильтрации - тут удобнее аппроксимировать тригонометрическими функциями). Полиномы (и вообще ряд Тейлора) удобнее для ряда задач. Но не единственный выбор.
2. Простейшая аппроксимация, позволяющая что-то сказать о значении функции в произвольной точке x, зная её поведение в какой-то одной точке
. это принимать значение функции в любой точке равным
. Понятно, что это очень грубая аппроксимация, и чем дальше x от
, тем она хуже. Но у нас может быть доступно значение производной в этой точке. Производная показывает изменение функции при бесконечно малом изменении аргумента, и добавка слагаемого с производной точной аппроксимацию не сделает, разве что производная - постоянна. Если она приблизительно постоянна при малых изменениях x, то уже член первого порядка ряда Тейлора аппроксимацию улучшит. Но чем больше изменение x, тем больше меняется и производная. Но у нас есть "скорость изменения производной" - вторая производная. Второй член ряда Тейлора и учитывает, зная вторую производную, как меняется производная по мере отхода от точки
. Третий, четвёртый и т.п. - позволяют давать всё более точную аппроксимацию (при определённых условиях).