выражения одних переменных от других стали настолько огромными и ужасными, что идея от подстановке в одно уравнение просто исключается.
Чего это вдруг? Уравнения не такие уж и сложные:
Второй и третий угол через первый из первых двух уравнений запросто выражается. Возможно, надо не целиком через исходные переменные решение выражать, а делать по ходу замены. Например, правые части можно сразу какой-нибудь буквой с индексами обозначить. Если вы будете делать программную реализацию решения, то это фактически оптимизация вычислений (а не только компактность записи). С областью допустимых значений первого угла придётся повозиться, правда, но это тоже не сильно сложно. Там везде первая или вторая степень от тригонометрических функций искомых углов.