Если одна из форм положительно определена, то можно ввести при помощи
этой формы новое скалярное произведение. В этом скалярном произведении
привести вторую форму к главным осям. Поскольку это приведение есть переход
к ортонормированному базису, то первая форма будет иметь все коэффициенты
равными единице - это и будет ее канонической формой.
В данном случае одна из форм положительно определена. По методу Лагранжа
надо найти все решения уравнения

, где

- матрица определенной формы. Это и будут коэффициенты второй
квадратичной формы. У меня получилось
Если сам базис не нужен, то это все. Решение сводится к отысканию определителя
2-го порядка и решению квадратного уравнения.