А что будет в случае, когда самосопряженный оператор не компактен, но собственные значения (если есть) только нулевые?
Не понял вопрос: что будет с чем?...
(если будет ли оператор нулевым, то -- нет, конечно: спектр вовсе не сводится только к собственным числам)
А спектральный радиус от того, что для самосопряженного оператора он равен норме оператора.
Да, равен. А зачем норма?