Собственно вопрос в том, как доказать, что a и b действительно ортогональны.
Не знаю, как, поскольку Вы ничего толком не сказали про эти  a и b. Но вот что очевидно. Если есть вещественное собственное число, то соответствующий (вещественный) собственный вектор порождает одномерное инвариантное подпространство. В противном случае обязательно найдётся пара взаимно сопряжённых собственных чисел и пара соответствующих им (опять же взаимно комплексно сопряжённых) собственных вектора 

 и 

 (здесь звёздочка обозначает комплексное сопряжение, т.к. чёрточка как-то не очень уместна). Их линейная оболочка -- это двумерное инвариантное подпространство в 
комплексном пространстве. Но в этой линейной оболочке можно выбрать и базис из 
вещественных векторов -- ими будут векторы 

 и 

. Так вот, вещественная линейная оболочка векторов 

 и будет вещественным двумерным инвариантным подпространством. Собственно, это практически полное доказательство.
А при чём тут скалярное произведение -- я тоже не знаю.