Не знаю, поможет ли..
В книге Кошляков Глинер Смирнов "Уравнения математической физики в частных производных" довольно хорошо описано получение свойства ортогональности функций Бесселя (глава XIII, п.3). Мне при решении одной задачи пришлось получать свойство ортогональности для более хитрых спец. функций и тогда эта книжка мне помогла.
(Оффтоп)
правда потом выяснилось, что мою задачку задолго до меня решил товарищ
Нуссельт 
, так что выбирая задачу, убедитесь, что она ещё никем не решена