Так ведь из того, что собственные числа только нулевые, про равенство нулю спектрального радиуса сказать ничего нельзя... или можно?
Если оператор компактный самосопряженный, то спектральное разложение известно, и если все собственные числа нулевые, то и оператор нулевой. А если не компактный, то я не знаю...
Не обязательно нулевой, но, конечно, нильпотентный, т.е. с нулевым спектральным радиусом. Точнее так: если у компактного оператора нет ни одного ненулевого собственного числа (ноль при этом, кстати, тоже может не быть собственным числом, а может и быть), то его спектральный радиус равен нулю. По довольно простой причине: резольвента

аналитична на всей комплексной плоскости (кроме нуля) и, значит, раскладывается при любом

в сумму геометрической прогрессии:

, причём ряд сходится по операторной норме. А это значит, что

растёт медленнее любой геометрической прогрессии.
Только я в упор не понимаю, при чём спектральный радиус здесь -- в задаче про квадратичные формы.
Если

для любого

, то из

получим

для любых

, а из

получим

для любых

(при этом используется самосопряженность

).
Не нужна симметричность в комплексном случае (в вещественном -- нужна).
id в своём
сообщении #336563 имел в виду примерно вот что:

;

.
Рассматривая это как систему уравнений для двух переменных

и

, вытаскиваем отсюда выражение

через четыре квадратичные формы. (Упоминавшееся "поляризационное тождество" получается усреднением этого результата с аналогичным, полученным постановкой знаков минус перед игреками.)