Вы лучше забудьте на время про матрицы. Просто выразите поворот какого-нибудь вектора

(а ваш данный пусть, например, зовётся

— от
axis, angle), используя, как
Munin уже предложил, скалярное и векторное произведения. Матрицу потом нарисуем.
В принципе я так и сделал.

поворочивается в

, поворот задаёт

,

- сонаправленная к

часть

,

и

- ортогональные к

части

и

соответсвтенно.
![$$\vec{s}=\frac{\vec{v}\left(\vec{a} \cdot
\vec{v}\right)}{\left|\vec{v}\right|^ 2},\quad \vec{u}=\vec{a}-\vec{s}$$
$$\left(\vec{u} \cdot \vec{u}'\right)=u^2 \cos{\left|\vec{v}\right|},\quad \left[\vec{u} \times \vec{u}'\right]=\frac{\vec{v} u^2
\sin{\left|\vec{v}\right|}}{\left|\vec{v}\right|}$$
$$u'_{1}=\frac{u_{1}\left(\vec{u} \cdot \vec{u}'\right)
-u_{2}\left[\vec{u} \times \vec{u}'\right]_{3}+u_{3}\left[\vec{u} \times \vec{u}'\right]_{2}}{u^2}$$
$$u'_{2}=\frac{u_{2} \left(\vec{u} \cdot \vec{u}'\right)+u_{1}\left[\vec{u} \times
\vec{u}'\right]_{3}-u_{3}\left[\vec{u} \times \vec{u}'\right]_{1}}{u^2}$$
$$u'_{3}= \frac{u_{3}\left(\vec{u} \cdot \vec{u}'\right)-u_{1} \left[\vec{u} \times
\vec{u}'\right]_{2}+u_{2}\left[\vec{u} \times \vec{u}'\right]_{1}}{u^2}$$
$$\vec{a}'=\vec{s}+\vec{u}'$$ $$\vec{s}=\frac{\vec{v}\left(\vec{a} \cdot
\vec{v}\right)}{\left|\vec{v}\right|^ 2},\quad \vec{u}=\vec{a}-\vec{s}$$
$$\left(\vec{u} \cdot \vec{u}'\right)=u^2 \cos{\left|\vec{v}\right|},\quad \left[\vec{u} \times \vec{u}'\right]=\frac{\vec{v} u^2
\sin{\left|\vec{v}\right|}}{\left|\vec{v}\right|}$$
$$u'_{1}=\frac{u_{1}\left(\vec{u} \cdot \vec{u}'\right)
-u_{2}\left[\vec{u} \times \vec{u}'\right]_{3}+u_{3}\left[\vec{u} \times \vec{u}'\right]_{2}}{u^2}$$
$$u'_{2}=\frac{u_{2} \left(\vec{u} \cdot \vec{u}'\right)+u_{1}\left[\vec{u} \times
\vec{u}'\right]_{3}-u_{3}\left[\vec{u} \times \vec{u}'\right]_{1}}{u^2}$$
$$u'_{3}= \frac{u_{3}\left(\vec{u} \cdot \vec{u}'\right)-u_{1} \left[\vec{u} \times
\vec{u}'\right]_{2}+u_{2}\left[\vec{u} \times \vec{u}'\right]_{1}}{u^2}$$
$$\vec{a}'=\vec{s}+\vec{u}'$$](https://dxdy-04.korotkov.co.uk/f/7/7/2/772790d62619f23ce641b7a70eb85e4282.png)
Как вы наверно поняли я ищу не какое-то частное решение, а хочу написать программу, которая должна по вектору выдавать матрицу. Если всё это свалить в один вектор, то формулы получаются пятнадцатиэтажными и я пока не знаю как их упрощать. Я так понял нужно ещё раскладывать компоненты на множители компонент

, чтобы получить компоненты матрицы.
UPD
Есть идея - взять базис, с помощью формул выше получить повёрнутый базис и составить систему уравнений. 9 уравнений на 9 неизвестных компонентов матрицы.