Судя по всему разложение нужно проводить для X=0
Собственные значения в этом случае будут что -то вроде биквадратного уравнения:
В случае совпадения корней вам нужно найти два ортогональных собственных вектора
для первого из двух собственных значений.
То же самое для второго.
Затем использовать замену
После преобразования первые два уравнения должны быть как в системе (2)