Например, так.


,

,

.
Найдите

такие, что эта задача имеет нетривиальное решение.
Поставить-то такую задачку можно, только кому и зачем она нужна? Она ведь не является спектральной.
условие ортогональности имеет вид

,

,
для

, где

-

-й положительный корень уравнения

.
Эти функции действительно образуют полную ортогональную систему, но -- относительно стандартного скалярного произведения

(и, соответственно, не образуют относительно Вашего; с оговоркой Утундрия относительно возможной дополнительно ещё одной гиперболической функции). Причина -- довольно-таки случайная: на
этой последовательности функций граничное условие

равносильно условию

, а последнее является воистину эрмитовым, хотя формально никак и не связано с исходной задачей.
Поэтому можно и разложить решение в ряд Фурье по этим функциям (естественно, с обычным скалярным произведением). И найти формально коэффициентв ряда -- всё пойдёт.
Но там будет проблема. Если бы в граничные условия входили только

и

, то и для суммы ряда эти условия выполнялись бы. А вот для

уже вигвам: сходимость ряда после двукратного дифференцирования по иксам ниоткуда и ни в каком смысле не следует.