Выбрать любой, подходящий под граничные условия, полный ортонормированный базис и записать матрицу оператора в этом базисе, ограничившись конечным числом векторов. Искать спектр получившейся матрицы в выбранном представлении. Методы можно посмотреть здесь
Wikipedia