Сорри за наивный вопрос - но не путаете ли Вы "нельзя взять интеграл" и "бессмысленно использовать понятие передаточной функции в данной модели"?
"Нельзя взять интеграл" обычно понимается, как "нельзя его выразить в элементарных функциях", но если бы даже и было так - для построения передаточной функции можно было бы и численно. А вот есть ли смысл в передаточной функции вообще в данном случае? Она, вообще-то, вводится для линейных стационарных систем.
Если у нас имеется передаточная функция - мы знаем амплитудную и фазовую характеристики, как функции от частоты (и более ни от чего). От амплитуды они не зависят
(Оффтоп)
с меня фуражка прапорщика Ясненько, старшины роты капитана Очевидность, не слетела?
но видно, что если амплитуды входа и выхода пропорционально изменить, то благодаря

у нас АФЧХ изменятся.
То есть если это учебная задача, то первым делом надо доложить, что передаточная функция определена для linear time-invariant system, а у нас non-linear, что видно без интегрирования. Возможно, это вообще была "наколка", задача для проверки, понимает ли студент элементарное, или хорошо выдрессирован без понимания сути. А возможно, тут предполагается линеаризация (тогда нужны дополнительные сведения о диапазоне изменения

) или, как вариант,

и

, которое в

это разные величины. В любом случае уточнение надо.