забейте на страшный коэф-т перед скобкой
Если его отбросить, то всё хорошо решается. Но можете, пожалуйста, всё-таки проверить решение:
По квадратичной форме составляем матрицу:

Далее, я нашел характеристический многочлен:

Его корни, т.е. собственные числа оператора:

После, нашел собственные векторы, ортогонализовал и нормализовал их. В итого получил:



Составляем матрицу канонического вида квадратичной формы:
И матрицу перехода к базису, в котором квадратичная форма имеет канонический вид.
Матрица состоит из собственных векторов, соответствующих собственных чисел:

Получаем канонический вид квадратичной формы:
