Ответ в таких задачах может быть представлен в разных видах, примерно эквивалентных друг другу, в смысле "школьных" упрощений и эквивалентных преобразований, но эта эквивалентность довольно запутанна и не видна на первый взгляд. При этом, какой вид у вас получится, зависит от того, каким путём вы шли к ответу, с каким подходом подходили к задаче. Поэтому с ней лучше обращаться максимально "по уму", а не пытаться чисто формально решить систему уравнений.
Далее. Вы решаете слишком общую задачу. В вашей системе уравнений никак не указан и не использован тот факт, что вектора
и
тоже единичные:
Эти уравнения не содержат неизвестных, но они могли бы упростить итоговые выражения.
"По уму", мне представляется возможным три варианта.
1. Используя векторную алгебру и аналитическую геометрию, найти построением искомый вектор, а потом перевести его в координатный вид.
2. Повернуть систему координат в положение, когда
и
совпадут с ортами осей координат, найти искомый вектор, и повернуть систему координат в исходное положение. Здесь работа с матрицами.
3. Искать не вектор в пространстве, а точку на сфере, средствами сферической геометрии. Может быть, этот вариант - примерно то же, что первый.
Как интерпретировать ваш результат... Во-первых, если
получается комплексным, то это может быть нормально, если
и
тоже будут комплексными: возможно, потом их всех трёх можно будет сократить на один и тот же комплексный коэффициент, и получится действительный вектор. Вот если они не будут сокращаться, надо будет бить тревогу и искать ошибку. Во-вторых, обращение знаменателя в нуль - это тоже так не страшно, если одновременно числитель обращается в нуль. Это значит, что вы попали в устранимую точку разрыва, и её надо устранить: или вручную сокращая числительно со знаменателем, или вычисляя предел и раскрывая неопределённость
например, по правилу Лопиталя.
И разумеется, надо проверить, существует ли решение при ваших предложенных конкретных данных. Не любые две окружности на сфере пересекаются. Но это вряд ли ваш случай, раз вы говорите, что построили вектора вручную (только надо проверить, правильно ли перенесли данные с рисунка в задачу).