У меня получилось
.
Идея в следующем: найдём
. Оператор
компактен (проверьте), поэтому компактен и оператор
. Он является положительно определенным и его собственные значения равны квадратам
-чисел оператора
. Из известных свойств
-чисел
, поэтому
, где
последовательность занумерованных по убыванию собственных чисел оператора
(в силу теоремы Гильберта-Шмидта эта последовательность существует: спектр
состоит из дискретного ограниченного множества, являющегося точечным спектром, и, возможно, точки 0). Осталось найти
.
Для этого составляем уравнение на собственную функцию (уравнение будет интегральным), приводим его к дифференциальному с некоторыми граничными условиями, решаем и получаем набор
. У меня получилось
.
--
М-м, меня опередили. Ладно, оставлю пост.
Только добавлю, что забыл сказать, что нужно рассмотреть
, ибо оно гильбертово со скалярным произведением, соответствующим норме, а норма на его всюду плотном подмножестве
равна норме на всем пространстве.