Y0=(Ax+B)cosx+(Cx+D)sinx?
а вот как дальше решать? и правильно ли начал?
Нет, неправильно. В правой части стоят

и

, так что при подборе частного решения надо брать именно их. А в остальном все как обычно - частное решение подставляется в уравнение, после чего подбираются значения неизвестных коэффициентов.
Правда, при таком выборе вида частного решения придется много поработать.

Попробуйте лучше

.