Честно сказать, такие задачи то ли не решал, то ли основательно забыл всю технику. Соответственно, Вашу технику не совсем понимаю и не берусь высказываться. Но раз уж влез в тему..
Если так: проводим плоскости через

и

. Тогда пересечение этих плоскостей ось поворота, а угол между ними, соответственно, угол поворота. Но только еще надо это потом в матричный вид перегнать..