Код:
helperS n1 n2 n3 n = helperS n1 n2 (n1 + n2 - 2 * n3) (n - 2)
Идея как будто та, но исполнение не то, да. Можно ещё попробовать как-то преобразовать исходную последовательность, чтобы её рекуррентная формула была вида

, без вхождений

и так далее. Получится — и хвостовая рекурсия получится.
-- Чт апр 09, 2020 02:39:51 --Возьму 9, 8 и 7 члены последовательности и подставлю в данную рекуррентную формулу.
Но откуда они будут вам известны? А вот
Pphantom может вполне намекать на динамическое программирование. (Результат тут везде правда выйдет одинаковый.)