забейте на страшный коэф-т перед скобкой
Если его отбросить, то всё хорошо решается. Но можете, пожалуйста, всё-таки проверить решение:
По квадратичной форме составляем матрицу:
Далее, я нашел характеристический многочлен:
Его корни, т.е. собственные числа оператора:
После, нашел собственные векторы, ортогонализовал и нормализовал их. В итого получил:
Составляем матрицу канонического вида квадратичной формы:
И матрицу перехода к базису, в котором квадратичная форма имеет канонический вид.
Матрица состоит из собственных векторов, соответствующих собственных чисел:
Получаем канонический вид квадратичной формы: