Пожалуй, можно и проще: сделать напрашивающуюся замену
. Результат довольно легко сведется к биквадратному уравнению.
На мой взгляд, можно ещё проще.
Если умножить каждое из уравнений данной системы на
и затем из первого вычесть второе, то получается уравнение
, которому также удовлетворяет любое решение исходной системы.
Решая это уравнение совместно с уравнениями (3), найденными топикстартером, получим:
1) при
имеем
, что даёт 4 решения.
2) при
имеем
, что даёт ещё 4 решения.
Всего 8 решений, включая, естественно, комплексные. Не поленился, проверил все 8 пар чисел. Все они удовлетворяют исходной системе.