Ничего путевого тоже не получилось.
Вычитая первое из второго, имеем 

. Все решения которого находятся: 

, где 

 - взаимнопростые, 

,  

 любое число.
Из первого уравнения имеем 

, если в пифагоровых тройках 

 взять решения 

 - разной четности, то получаем два уравнения:

, 

.
После преобразований этих двух уравнений получаем 

.
Отсюда можно указать бесконечную серию решений исходной системы. Например, берем 

, находим 

 и решением уравнения Пелля находим бесконечно много решений: 

, 

, но нам нужно найти условие, когда решения нет.