забейте на страшный коэф-т перед скобкой
Если его отбросить, то всё хорошо решается. Но можете, пожалуйста, всё-таки проверить решение:
По квадратичной форме составляем матрицу: 

Далее, я нашел характеристический многочлен: 

Его корни, т.е. собственные числа оператора: 

После, нашел собственные векторы, ортогонализовал и нормализовал их. В итого получил:



Составляем матрицу канонического вида квадратичной формы:
 И матрицу перехода к базису, в котором квадратичная форма имеет канонический вид. 
Матрица состоит из собственных векторов, соответствующих собственных чисел:

Получаем канонический вид квадратичной формы: 
