В начале я получил рекуррентное соотношение для характеристического многочлена
:
Напрасно, это малоперспективно.
В рекомендациях к решению советуют сделать замену
Это плохой совет. С какой стати косинус-то, да ещё и два?...
Ищите не собственные числа сами по себе, а одновременно с собственными векторами. Дополните искомый вектор двумя нулевыми значениями по краям:
,
. Тогда для всех
будет
. Ищите решение этого разностного уравнения в виде
. Получится общее решение вида
, где
явно зависят от
. На произвольные постоянные
наложите граничные условия
-- это будет однородная система из двух уравнений, которая должна иметь ненулевые решения, т.е. матрица должна быть вырожденной. Вот и условие на лямбду, и вполне явное.
(а косинусы появятся из-за того, что решения будут лишь для комплексно сопряжённых пар
)