Пока
svv на подходе, разрешите вставить свои пять копеек. Я тут писал:
Я бы на месте ТС попытался обобщить задачу на n-мерный случай и найти ответ не подробно, а идейно.
В параллельной теме вам советовали:
Запишите это равенство в векторном виде.
В векторном виде задачу можно записать так: найти экстремум квадратичной функции

на единичной сфере

. Функция Лагранжа для этой задачи будет иметь вид:

. (Здесь для наглядности изменил знак

). Приравнивая градиент этой функции к нулю, получаем уравнение:

. Отсюда видно, что критические точки нашей функции, это собственные вектора матрицы

(возможна ситуация, что это инвариантное подпространство этой матрицы). А в этих точках наша функция принимает значение равное собственному значению матрицы

. Отсюда видно, что решением нашей задачи будет собственный вектор (ы) матрицы

, соответствующий её экстремальному собственному значению. Смотрите также пар.17 лекций Гельфанда по линейной алгебре "Экстремальные свойства собственных значений".