В ортонормированном базисе скалярное произведение выглядит так (пишу в своих обозначениях):

Я понял, что Вы примерно это имели в виду, только у векторов индекс один, а два — у матриц.
Эту формулу можно записать и так:

,
где

— единичная матрица. Стоит перейти в неортонормированный базис, как в формуле для скалярного произведения на этом месте появится какая-то матрица почти произвольного вида (правда, симметричная, невырожденная, положительно определённая). А векторы (с соответственно пересчитанными компонентами!) так и останутся:

И это уже общий случай. Неортонормированные базисы тоже важны, и чтобы находить в них скалярное произведение (а с его помощью длины и углы), не переходя постоянно в другой «красивый» базис, достаточно найти матрицу

в этом базисе и пользоваться предыдущей формулой.
Мой выбор

(единичная) указывает на выбор ортонормированного базиса. Но какой будет соответствующая матрица в каноническом базисе оператора?
Вы правильно вспомнили про собственные векторы.
-- Ср сен 07, 2016 17:14:01 --В

в качестве ортнонорм. базиса можно взять матрицы:

,

,

,

(это если считать скалярное произведение по той формуле, что я написал)
Нет, базис векторного пространства состоит из векторов. У нас это

и

. Количество векторов в базисе равно размерности пространства (то есть

).