Ничего путевого тоже не получилось.
Вычитая первое из второго, имеем

. Все решения которого находятся:

, где

- взаимнопростые,

,

любое число.
Из первого уравнения имеем

, если в пифагоровых тройках

взять решения

- разной четности, то получаем два уравнения:

,

.
После преобразований этих двух уравнений получаем

.
Отсюда можно указать бесконечную серию решений исходной системы. Например, берем

, находим

и решением уравнения Пелля находим бесконечно много решений:

,

, но нам нужно найти условие, когда решения нет.