Запишем Вашу систему в матричной форме:

, где

Точка над вектором — производная по независимой переменной

.
Заходим на
WolframAlpha и набираем в окошке
Jordan decompositionВ маленькое окошко
matrix надо ввести нашу матрицу

. Синтаксис такой:
{{0,-2,-1},{-1,1,1},{-1,-2,0}}И запускаете. Результатом будет представление матрицы в виде

Здесь

— это некоторая невырожденная матрица, преобразующая

к жордановой форме, а

— собственно жорданова форма матрицы

. Матрица

управляет всей ситуацией и очень важна. Она имеет простой вид, но при этом содержит в себе все существенные особенности системы ДУ.
WolframAlpha выдает:

Моя просьба к Вам. Проверьте вручную, что
1)

2)

И, когда Вы это проверите (а то мало ли, что робот может выдать) и подтвердите, я покажу, как просто теперь решить систему.