Red_Herring, можно определять как ряд по степеням А. Правда, сомнительно, что это имеет непосредственное отношение к задаче.
Есть 2 определения: одно которое Вы использовали, второе через ряд (или комплексный интеграл), но тогда функция аналитическая а оператор ограниченный. Впрочем эти определения в данном случае дают одно и то же.
Что Вам
ewert советует. Смотрите, по определению

это проектор на подпространство, где

. То есть для

это где

. А это значит что

для какого-либо

. Проектором на последнее будет

(замечание о собственных значениях). И окончательно последнее выражение суммируется по

.
Неравенства понимаются в операторном смысле