Задача "перенедоопределенная" - если бы все коэффициенты были известны - но тут видимо нужно их найти, что бы выполнялось условие периодичности. Обычно для краевых задач используют метод типа прогонки - в данном случае, раз стоит в задании РК - пробуйте что-то типа "метода стрельбы" - подбирая

, так что бы удовлетворялись условия периодичности. И смотрите траектории в фазовой плоскости - там нужно найти замкнутую кривую. Ну естественно встанет проблема выбора начальных значений

, кроме выбора коэффициентов уравнения.
И еще можно численно построить точки поверхности

и искать где у нее нули. Или пов-ти типа

.
Для начала можно посмотреть простую подобную задачу - где известно точное решение - например заменить синус в левой части - на

.