1) Если Вы ищете

, то Ваша задача сводиться к трехдиагональной матрице вида:
2) Очевидно, что эта матрица обратима, коль скоро

не равен одному из собственных чисел матрицы
Это означает, что кроме как в случае помянутом выше, единственным решением является

. В случае-же собственного числа ответ - соответствующий собственный вектор.
3) Известны простые достаточные критерии невырожденности матрицы (1). По-моему (пишу по памяти, проверьте пожалуйста), достаточным критерием невырожденности будет мажорирование главной диагональю

, то есть

.
4) Смею думать, что в Вашем случае собственные числа равны

, где

пробегает целые значения от

до

(без доказательства).