Никаких секретов.
Разве бы я догадался до чего-то подобного, если бы вы не выложили эту задачу.
Если кратко, то будем применять метод конденсации Доджсона до тех пор, пока матрица не примет
-диагональный вид. В вашей задаче это происходит весьма скоро и матрица становится пентадиагональной. Далее применяем классическую науку для таких матриц (смотреть
pentadiagonal matrices). Можно честно получать рекуррентные формулы, но если лень, то можно использовать обсуждавшийся выше метод нахождения рекуррентных коэффициентов, теперь это обоснованный шаг.
(Оффтоп)
Возможно, что я немного погорячился про программу 1-го курса экономического факультета