Выделите в знаменателе полный квадрат и на этом основании сделайте замену

Найдите оригиналы получившихся дробей по таблице (это будут комбинации синуса и косинуса). Потом вернитесь обратно по теореме затухания (добавится экспонента).
Решаем методом исключения неизвестных:
Исходное уравнение

Имелся в виду метод исключения как
альтернатива исходному, т.е. применительно к исходной системе

Просто выразите

через всё остальное из второго уравнения и подставьте в первое. Получите уравнение второго порядка для

.