Первое собственное значение оператора

в

равно

(оно может быть вычислено с помощью метода разделения переменных, напр.). Пусть

- положительная (

в

) собственная функция, отвечающая собственному значению

.
Предположим, вопреки утверждению, что наша задача имеет решение

. Тогда мы должны иметь
или, что то же самое,
По условию задачи

, а следовательно

и

. Из интегрального равенства выше мы заключаем, что
Если

, то

, и мы приходим к противоречию. Если же

, то

, и следовательно

, что противоречит включению

. Эти противоречия и доказывают утверждение задачи.
P.S. Это одна из задач кандидатского минимума Penn State University (2008 г.). Там, правда, требовалось решить задачу для

.