Вы напрасно "шарахаетесь" из стороны в сторону. Действуйте по порядку.
Прежде всего, и я Вам об этом уже говорил, с какими фукциями мы имеем дело? Вам не отвертеться от этого вопроса. Давайте, для начала, предположим, что
достаточно гладкая функция. Если угодно, пусть она будет бесконечно дифференцируемой и ограниченной (позже попробуем понять, что же на самом деле нужно).
Пусть
.
Чему равны
,
? Выразите их "по человечески". Интегрируя по частям, преобразуйте
. То что у Вас было написано выше - просто каша. При интегрировании по частям, разумеется, возникают краевые слагаемые. Ну так и воспользуйтесь имеющимися условиями. Что до
, то это вполне конкретная функция, что Вам мешает использовать её явный вид?