Во-первых -- ещё раз: здесь вам не тут! Оператор самосопряжён на аш-два, а на аш-один замкнута лишь его квадратичная форма. (Можете, ежели угодно, назвать самосопряжённым квадратный корень из минус лапласиана, тогда с этим ещё можно будет согласиться.)
Во-вторых: да хрен с ним, с этим оператором, пусть себе будет самосопряжённым. Граничные-то условия ставились вовсе не так.
---------------------------------------------------------------------------------
Ладно, вопрос на засыпку. Пусть

-- оператор двукратного дифференцирования на отрезке
вообще без граничных условий. Что будет сопряжённым оператором?