Уважаемый Игорь,
В том виде, как Вы записали задачу, для её решения компьютер не требуется.
Если я правильно Вас понял, Вас интересуют зависимости x(N), y(N) и z(N). А так же значение N, при котором x(N) - y(N) максимально. Итак, y от N не зависит. График - горизонтальная прямая.

- В зависимости от значения a либо возрастающая парабола (a>0), либо убывающая парабола (a<0), либо горизонтальная прямая проходящая через начало координат при a=0. Максимум z(N), так как y(N) является константой, достигается тогда же, когда достигается максимум x(N). При a>0 он достигается при максимально возможном N, т.е. при

, при a<0 при минимально возможном N, т.е. при N=1. При a=0 безразлично, какое N брать.
Для построения прямой и параболы можно использовать любой из математических пакетов. Команда будет выглядеть примерно одинаково.
Подозреваю что в формулировку задачи вкралась какая-то ошибка.
Арсений.