Что уж Вы так беспомощно ...
Если поверить Вашим выкладкам, то получим

, где

- единичная матрица. А чем

провинился? Это же простая лин. алгебра. Сделаем все еще проще.
Пусть

- квадратная матрица. Что Вы можете сказать про эту матрицу

, если

для любых векторов

? Ну не все же матрицы удовлетворяют такому свойству.
Предположим, нам удалось как-то охарактеризовать все такие матрицы. Потом мы попробуем перенести эти соображения на случай интегрального оператора

.
К слову, а что известно про ядро этого оператора? И в каком пространстве он действует?