Ещё раз повторяю, в случае общего положения общее решение должно выражаться через четыре линейно независимых функции. В Вашей подстановке их только две.
Я решал подстановкой:
Это верно?
Почему Вы решили именно так?
Вообще, первым делом надо бы решить характеристическое уравнение для этой системы, чтобы знать, с какими коэффициентами подбирать функции.
подставить
из второго в первое
Так тоже можно прийти к характеристическому уравнению, если в полученное выражение подставить экспоненту с неизвестным коэффициентом, но в особых случаях может не срастись.