Вы начали решать методом вариации постоянных множителей (методом Лагранжа).
Кажется в выражении для

пропущен минус. Интегралы берутся по частям (

), полагая

и

для второго интеграла, и

для первого. Предварительно интегрированием по частям ищется

.
Однако правая часть диф. уравнения имеет «специальный вид». И при выполнении учебных примеров, как правило, требуется находить решение неоднородного уравнения с правой частью такого типа «методом подбора» («методом неопределенных коэффициентов»). Посмотрите соответствующий раздел Вашего учебника. Например, в книге Эльсгольц Л.Э. «Дифференцивльные уравнения и вариационное исчисление» в гл. 2, §6 «Линейные неоднородные уравнения с постоянными коэффициентами и уравнения Эйлера» рассматривается этот метод, и приводятся частные примеры.
-- Пн 21.12.2009 18:24:56 --И еще, кажется, в выражении для

пропущена 1/2.
-- Пн 21.12.2009 18:42:11 --честно посчитал. 1/2 нет ни в

, ни в

.