
.
Второе уравнение задаёт эллипс, первое гиперболу, причём и то, и другое с центром в нуле. Ясно, что гипербола пересекает эллипс при всех не слишком больших положительных и не слишком больших отрицательных значениях параметра

(ну и при нуле, конечно). Максимально и минимально допустимым значениям параметра будут отвечать случаи, когда обе ветви гиперболы касаются эллипса, т.е. когда система имеет два решения.
Теперь пытаемся решить эту систему. Тупо, по-деццки -- умножаем первое уравнение на

, второе на

и вычитаем:

Это однородное уравнение, которое сводится к квадратному относительно

. Его дискриминант:

должен быть равен нулю, если мы хотим, чтобы однородное уравнение имело ровно одно решение и, соответственно, вся система -- ровно два (здесь есть некоторый логический пробел, но он легко восполняется). Итого:

и

, если ничего не напутал.