А дальше какую надо брать пробную функцию
Никакую, так дёшево тут не отделаешься (норма достигается на некоем синусе или косинусе).
Тут проще всего перейти к обратным операторам. Если
, то
-- это минус оператор дифференцирования с условием Дирихле на одном из концов промежутка. Тогда сопряжённый оператор
-- это плюс дифференцирование и тоже с условием Дирихле, но уже на противоположном конце. Соответственно,
-- это минус оператор двукратного дифференцирования с условием Дирихле на одном конце и Неймана на другом. Собственные числа такого оператора (т.е. собственные числа соответствующей задачи Штурма-Лиувилля) элементарно выписываются. Так вот минимальное из них и есть единица делить на квадрат нормы исходного оператора.
(Оффтоп)
Эта задачка, в разных вариантах, возникает здесь, на форуме, с пугающей регулярностью. По-хорошему надо бы было погуглить и сослаться на уже обсуждённую; да вот гуглить лень.