можно ли возвести в квадрат второе и третье уравнение?
Можно. Только делать это надо аккуратно...
Во втором: оставить корень слева. Это сразу даст отрицательность
. Тогда: третье надо просто выбросить, а вот второе теперь можно возвести в квадрат.
А вообще, для таких задач более эффективным является геометрическое описание условий задачи в терминах "вершина параболы", и т.п. Например, у Вас: отрицательность обоих корней означает: неотрицательность дискриминанта, "вершина - слева", "в нуле - положительное значение". Видим, что это - ровно то, что получено при решении Вашей системы....