Кстати, могли бы поделить все величины на

и переобозначить, чтобы не усложнять жизнь лишними вхождениями

.
подтолкните в правильном направлении, сам вижу только два варианта:
1. разложить систему, чтобы можно было представить в матричном виде
2. решить как-то через производные и интегрирование
Это система нелинейных уравнений, так что матрицы искать просто нет смысла (если составить нелинейное уравнение с матрицами, будет наверняка ещё хуже, чем было). Производные и интегрирование — это тоже и не метод, и слишком далеко.
Если нужна формула, всё загоняется в СКА и решается ею (в данном случае везёт: Mathematica, к примеру, решает, хотя и выдаёт страшные длинные выражения, даже если приравнять

, как я посоветовал; плюс оказывается два решения), остаётся скопировать результат. Или используются численные методы (что и приходится делать в общем случае), и тут надо смотреть книжку по ним, я лично в этом не разбираюсь и посоветовать конкретный не могу.
-- Сб ноя 03, 2018 16:14:05 --В любом случае, судя по выдаваемому ответу, эту систему всё же можно распилить руками, начав так как я предложил (избавиться от корней). Получатся квадратные уравнения, хоть и хитро связанные. И если вовремя обозначать какие-то подвыражения отдельными буквами (что полезно и для кода, и для уменьшения ошибок в решении), ответ может получиться сильно лучше, чем выдаёт железная СКА.