Возможно, я не достаточно хорошо владею вопросом и не строго выражаюсь, т.к. занимаюсь озвученной проблемой недавно.
Ну вы ссылки прочитали?
Пусть у вас одна и та же исходная система координат
![$S$ $S$](https://dxdy-03.korotkov.co.uk/f/e/2/5/e257acd1ccbe7fcb654708f1a866bfe982.png)
переводится матрицей
![$M_1$ $M_1$](https://dxdy-03.korotkov.co.uk/f/6/f/5/6f549764f2f97bec950c14de5352994a82.png)
в систему координат
![$S_1,$ $S_1,$](https://dxdy-02.korotkov.co.uk/f/d/2/9/d2900196610c206f6337322b36bfc59282.png)
а матрицей
![$M_2$ $M_2$](https://dxdy-02.korotkov.co.uk/f/d/c/e/dced8cd0d35e2af2d3499c10d7ee628982.png)
- в систему координат
![$S_2.$ $S_2.$](https://dxdy-02.korotkov.co.uk/f/1/6/a/16a4c51352a609076aa850fca2453f1882.png)
Тогда, чтобы перевести систему координат
![$S_1$ $S_1$](https://dxdy-03.korotkov.co.uk/f/2/6/4/264fba1c7ab2f0bc1611dac6780708a682.png)
в
![$S_2,$ $S_2,$](https://dxdy-01.korotkov.co.uk/f/c/1/0/c1064c22b445cbd8ced752cf6bfcf7a482.png)
следует использовать матрицу
![$M_{12}=M_2M_1^{-1}.$ $M_{12}=M_2M_1^{-1}.$](https://dxdy-01.korotkov.co.uk/f/c/4/8/c48352fcad85c4093d009b587fbd17b782.png)
Более того, это единственный ответ, других нет. Поскольку у вас повороты не сопровождаются растяжениями и сдвигами системы координат, то все матрицы - ортогональные, а значит,
![$M_1^{-1}$ $M_1^{-1}$](https://dxdy-01.korotkov.co.uk/f/8/7/6/876edb607659ca80c143d73ca369112c82.png)
вычисляется просто как
![$M_1^{-1}=M_1^T.$ $M_1^{-1}=M_1^T.$](https://dxdy-01.korotkov.co.uk/f/8/0/8/808bf04e44ce6ab3a86260f12777eebf82.png)
Если вам нужны углы Эйлера (углы поворотов вокруг осей
![$z,x,z$ $z,x,z$](https://dxdy-03.korotkov.co.uk/f/2/1/4/214509e5d0e4cdfca7e0a7a49449c2bf82.png)
), то вычиляются они по элементам матрицы
![$M_{12}$ $M_{12}$](https://dxdy-04.korotkov.co.uk/f/3/0/7/307a6920483cd5874392ea094a56d13582.png)
:
![$\varphi=\arctg\tfrac{m_{31}}{m_{32}}$ $\varphi=\arctg\tfrac{m_{31}}{m_{32}}$](https://dxdy-04.korotkov.co.uk/f/f/6/b/f6b25836966ae490c28e5cc970e3b40c82.png)
![$\theta=\arccos m_{33}$ $\theta=\arccos m_{33}$](https://dxdy-03.korotkov.co.uk/f/2/2/e/22e91c047e606fc70f6bcceefe91b83682.png)
![$\psi=-\arctg\tfrac{m_{13}}{m_{23}}$ $\psi=-\arctg\tfrac{m_{13}}{m_{23}}$](https://dxdy-02.korotkov.co.uk/f/5/9/4/5940072d4937cc34c0ec03925e8b376a82.png)
На самом деле, результат здесь неоднозначный (можно выбрать другие углы), так что, возможно, из-за этого Mathematica в ступор и впадает.
Почитайте линейную алгебру, чтобы разобраться с матрицами и их свойствами, и решениями уравнений для матриц.
Тогда не сочтите за труд объясните мне мои ошибки, но прошу, делайте это корректно.
Ничем не хотел вас обидеть. Просто вы явно разобрались в материале меньше, чем нужно, чтобы задать Mathematic-е правильный вопрос.