вот похожая задача...
Это вырожденный случай Вашей задачи (трехгранный угол оказывается плоским), поэтому и легко решается. Почувствуйте разницу: система
(вырожденный случай) сводится к биквадратному уравнению, а вот система
(частный, но не вырожденный случай) сводится к общему уравнению 4-й степени. Конечно, и это уравнение можно решить в радикалах, но ответ будет ужас-ужас.
Может быть, Вы объясните, зачем нужно решать эту задачу в общем виде? На мой взгляд, в такой формулировке она выглядит довольно бессмысленно.