Так ведь из того, что собственные числа только нулевые, про равенство нулю спектрального радиуса сказать ничего нельзя... или можно?
Если оператор компактный самосопряженный, то спектральное разложение известно, и если все собственные числа нулевые, то и оператор нулевой. А если не компактный, то я не знаю...
Не обязательно нулевой, но, конечно, нильпотентный, т.е. с нулевым спектральным радиусом. Точнее так: если у компактного оператора нет ни одного ненулевого собственного числа (ноль при этом, кстати, тоже может не быть собственным числом, а может и быть), то его спектральный радиус равен нулю. По довольно простой причине: резольвента 

 аналитична на всей комплексной плоскости (кроме нуля) и, значит, раскладывается при любом 

 в сумму геометрической прогрессии: 

, причём ряд сходится по операторной норме. А это значит, что 

 растёт медленнее любой геометрической прогрессии.
Только я в упор не понимаю, при чём спектральный радиус здесь -- в задаче про квадратичные формы.
Если 

 для любого 

, то из 

 получим 

 для любых 

, а из 

 получим 

 для любых 

 (при этом используется самосопряженность 

).
Не нужна симметричность в комплексном случае (в вещественном -- нужна). 
id в своём 
сообщении #336563 имел в виду примерно вот что:

;

.
Рассматривая это как систему уравнений для двух переменных 

 и 

, вытаскиваем отсюда выражение 

 через четыре квадратичные формы. (Упоминавшееся "поляризационное тождество" получается усреднением этого результата с аналогичным, полученным постановкой знаков минус перед игреками.)