Это ж линейная система с постоянными коэффициентами. Ну выразите

из второго уравнения и подставьте в первое. Получится линейное (неоднородное) уравнение с постоянными коэффициентами четвертого порядка относительно

. Дальше корни хар многочлена надо находить. Т.к. коэффициенты

общего вида, то ничего хорошего не получится (можно, конечно, попытаться метод Феррари вспомнить, но оно Вам надо?).