Y = Y + (N + 3) ^ 2 / (N - 5) * (N - 7)
Я в языках программирования ничего не понимаю, но тут явно

не на своём месте.
что-бы при n=5; n=7 член ряда был равен нулю
А почему бы не говорить правду? То есть, если 5 и 7 находятся между

и

, говорить "сумма расходится" или, ещё лучше, "сумма не определена из-за деления на 0".