ну, я собирался решать полученную систему

методом Фурье. При этом для устойчивости решения необходимо, чтобы спектр был отделен от нуля. По всему, надо находить с.з. Ну, и матрица оператора:
Она размера N*N. Ну, я и должен буду решать задачу
так что

в краевом условии делает то же, что и в рекуррентном соотношении. В этом и проблема. Или я не прав?