Граничных условий у Вас многовато. У оператора второго порядка их должно быть не больше двух.
посколько у оператора сингулярность в нуле, то естественно, по аналогии с Бесселем, поставить там условие

конечно.
На бесконечности обычбо ставится условие пронадлежности

. Но уж во всяком случае граничные условия должны быть однородны, Еслио ЗАДАВАТЬ значение функции, или там ее производной, то оно должно равняться нулю. Именно нулю, а не каким-то константам.
Так что продумайте граничные условия еще раз. Это сильно не пустяк и не придирка. И еще. Спектр оператора очень сильно зависит от пространства, в котором этот оператор рассматривают.
Так что подумайте, какие требования на функции нужно наложить. Традиционно рассматривают

, возможно, с весом.
И подумайте, действительно ли Вам нужен спектр. Приготовьтесь к тому, что он может оказаться непрерывным.