Собственно вопрос в том, как доказать, что a и b действительно ортогональны.
Не знаю, как, поскольку Вы ничего толком не сказали про эти a и b. Но вот что очевидно. Если есть вещественное собственное число, то соответствующий (вещественный) собственный вектор порождает одномерное инвариантное подпространство. В противном случае обязательно найдётся пара взаимно сопряжённых собственных чисел и пара соответствующих им (опять же взаимно комплексно сопряжённых) собственных вектора
и
(здесь звёздочка обозначает комплексное сопряжение, т.к. чёрточка как-то не очень уместна). Их линейная оболочка -- это двумерное инвариантное подпространство в
комплексном пространстве. Но в этой линейной оболочке можно выбрать и базис из
вещественных векторов -- ими будут векторы
и
. Так вот, вещественная линейная оболочка векторов
и будет вещественным двумерным инвариантным подпространством. Собственно, это практически полное доказательство.
А при чём тут скалярное произведение -- я тоже не знаю.