Например, так.
,
,
.
Найдите
такие, что эта задача имеет нетривиальное решение.
Поставить-то такую задачку можно, только кому и зачем она нужна? Она ведь не является спектральной.
условие ортогональности имеет вид
,
,
для
, где
-
-й положительный корень уравнения
.
Эти функции действительно образуют полную ортогональную систему, но -- относительно стандартного скалярного произведения
(и, соответственно, не образуют относительно Вашего; с оговоркой Утундрия относительно возможной дополнительно ещё одной гиперболической функции). Причина -- довольно-таки случайная: на
этой последовательности функций граничное условие
равносильно условию
, а последнее является воистину эрмитовым, хотя формально никак и не связано с исходной задачей.
Поэтому можно и разложить решение в ряд Фурье по этим функциям (естественно, с обычным скалярным произведением). И найти формально коэффициентв ряда -- всё пойдёт.
Но там будет проблема. Если бы в граничные условия входили только
и
, то и для суммы ряда эти условия выполнялись бы. А вот для
уже вигвам: сходимость ряда после двукратного дифференцирования по иксам ниоткуда и ни в каком смысле не следует.