А жаль, ведь понимать сопряженные направления, как своего рода ортогональные, очень удобно.
Тут не надо бояться терминологии. Ну не скалярное это произведение в строгом смысле слова, и ладно.
А надо смотреть на суть дела.
По сути, вам надо рассмотреть несколько типов таких матриц, и для каждой из них понять, как будет вести себя "скалярное произведение" и ортогональность:

Все остальные получатся из них каким-то аффинным преобразованием, то есть, "растяжениями, сжатиями и перекосами".
Первый случай - это знакомое вам евклидово скалярное произведение. (Остальные называются псевдоевклидовыми.)
Второй случай - это "скалярное произведение в пространстве Минковского". С ним очень рекомендуется освоиться и поупражняться. Например, вот такие два вектора ортогональны:

и

- а вот привычные, казалось бы,

и

- нет, не ортогональны. Векторы вида
ортогональны сами себе. Кроме них, все остальные ортогональные пары устроены так: плоскость делится на четыре квадранта, повёрнутых на 45°, и вектору из "горизонтального" квадранта ортогональны векторы из "вертикального" (образующие прямую), и наоборот. Но в "однотипном" квадранте не найдётся вектора, ортогонального данному.
Третий случай - это "скалярное произведение в пространстве Галилея". Оно подобно предыдущему, если представить себе "вертикальные" квадранты схлопнувшимися в бесконечно тонкие сектора - лучи. То есть, ровно вертикальные векторы вида

ортогональны всем остальным - в том числе, и другим вертикальным. А два невертикальных вектора не ортогональны друг другу никогда.
И четвёрный случай - всё ортогонально всему. Он малоинтересен.
-- 14.01.2017 16:48:32 --В многомерном случае немного интересней, но если вы рассмотрите варианты

то сможете представить себе и все остальные по аналогии.