Что уж Вы так беспомощно ...
Если поверить Вашим выкладкам, то получим 

, где 

 - единичная матрица. А чем 

 провинился? Это же простая лин. алгебра. Сделаем все еще проще.
Пусть 

 - квадратная матрица. Что Вы можете сказать про эту матрицу 

, если 

 для любых векторов 

? Ну не все же матрицы удовлетворяют такому свойству.
Предположим, нам удалось как-то охарактеризовать все такие матрицы. Потом мы попробуем перенести эти соображения на случай интегрального оператора 

.
К слову, а что известно про ядро этого оператора? И в каком пространстве он действует?