Red_Herring, можно определять как ряд по степеням А. Правда, сомнительно, что это имеет непосредственное отношение к задаче.
Есть 2 определения: одно которое Вы использовали, второе через ряд (или комплексный интеграл), но тогда функция аналитическая а оператор ограниченный. Впрочем эти определения в данном случае дают одно и то же.
Что Вам
ewert советует. Смотрите, по определению
это проектор на подпространство, где
. То есть для
это где
. А это значит что
для какого-либо
. Проектором на последнее будет
(замечание о собственных значениях). И окончательно последнее выражение суммируется по
.
Неравенства понимаются в операторном смысле