Вы напрасно "шарахаетесь" из стороны в сторону. Действуйте по порядку.
Прежде всего, и я Вам об этом уже говорил, с какими фукциями мы имеем дело? Вам не отвертеться от этого вопроса. Давайте, для начала, предположим, что

достаточно гладкая функция. Если угодно, пусть она будет бесконечно дифференцируемой и ограниченной (позже попробуем понять, что же на самом деле нужно).
Пусть

.
Чему равны

,

? Выразите их "по человечески". Интегрируя по частям, преобразуйте

. То что у Вас было написано выше - просто каша. При интегрировании по частям, разумеется, возникают краевые слагаемые. Ну так и воспользуйтесь имеющимися условиями. Что до

, то это вполне конкретная функция, что Вам мешает использовать её явный вид?