В начале я получил рекуррентное соотношение для характеристического многочлена

:
Напрасно, это малоперспективно.
В рекомендациях к решению советуют сделать замену

Это плохой совет. С какой стати косинус-то, да ещё и два?...
Ищите не собственные числа сами по себе, а одновременно с собственными векторами. Дополните искомый вектор двумя нулевыми значениями по краям:

,

. Тогда для всех

будет

. Ищите решение этого разностного уравнения в виде

. Получится общее решение вида

, где

явно зависят от

. На произвольные постоянные

наложите граничные условия

-- это будет однородная система из двух уравнений, которая должна иметь ненулевые решения, т.е. матрица должна быть вырожденной. Вот и условие на лямбду, и вполне явное.
(а косинусы появятся из-за того, что решения будут лишь для комплексно сопряжённых пар

)