Интегрируемые с квадратом функции, очевидно. Или может быть что-то другое?
Очевидно интегрируемости с квадратом недостаточно. Нужно ещё чтобы после применения оператора получалась тоже интегрируемая с квадратом функция, откуда будет следовать, что область определения состоит из функций, интегрируемых вместе со своими производными до второго порядка в квадрате, и обращающихся в 0 в 0. Тут надо иметь некоторые знания по функциональному анализу.