Метод (нелинейный) наименьших квадратов не подходит? Берутся функции с нужными свойствами (например, монотонность по одной переменной), а коэффициенты подгоняются. Формулы наверняка имеютя в книжках (ссылок не имею, по нужде быстренько выписывал сам), готовых алгоритмов можно наковырять в интренетах. Их основа --- решение линейных систем (да, линейных, хоть и для нелинейного МНК).
тупо брать арктангенс не хочется, т. к. возможны мелкие отклонения от монотонности...
Если они возможны только в данных, то это естественно, и это не значит, что эти мелкие отклонения необходимо тащить в модель, т.е. в аппроксимирующую функцию.
Ну и, полагаю, придумать модель по описанию "мелкие отклонения от монотонности, да и форма может оказаться сложнее" вряд ли кто возьмётся. Захочется копнуть изучаемое явление, типа физику оного. Или характер данных: есть там явная шумовая компонента, или нет таковой, или...