Возможно, я не достаточно хорошо владею вопросом и не строго выражаюсь, т.к. занимаюсь озвученной проблемой недавно.
Ну вы ссылки прочитали?
Пусть у вас одна и та же исходная система координат

переводится матрицей

в систему координат

а матрицей

- в систему координат

Тогда, чтобы перевести систему координат

в

следует использовать матрицу

Более того, это единственный ответ, других нет. Поскольку у вас повороты не сопровождаются растяжениями и сдвигами системы координат, то все матрицы - ортогональные, а значит,

вычисляется просто как

Если вам нужны углы Эйлера (углы поворотов вокруг осей

), то вычиляются они по элементам матрицы

:



На самом деле, результат здесь неоднозначный (можно выбрать другие углы), так что, возможно, из-за этого Mathematica в ступор и впадает.
Почитайте линейную алгебру, чтобы разобраться с матрицами и их свойствами, и решениями уравнений для матриц.
Тогда не сочтите за труд объясните мне мои ошибки, но прошу, делайте это корректно.
Ничем не хотел вас обидеть. Просто вы явно разобрались в материале меньше, чем нужно, чтобы задать Mathematic-е правильный вопрос.