Добрый вечер, уважаемые участники форума!
Необходимо привести к каноническому виду уравнение:

К матричному виду я привел:

Далее нужно посчитать характеристический полином матрицы 3x3:

А вот что делать дальше? Одно из собственных чисел - ноль, а два других совпадают - т.е. тройки ортогональных векторов нового базиса не получить...