Идея интересная, поскольку записывает переменную ортогональную матрицу в терминах оси вращения.
Тем не менее, мне хотелось бы немного другую формулу. Дело вот в чем. Матричную экспоненту можно записать в виде ряда

Далее, когда мы будем начнем дифференцироваться проблемы начнутся начиная с 3-го члена так как

потому что в общем случае кососимметрические матрицы не коммутируют.
Тем не менее, они образуют алгебру Ли. То есть в результате мы сможем переставлять

и

, но с учетом коммутатора. В такого рода задачах во многих случаях после перестановки выражение удается собрать обратно в нечто красивое.
Полагаю, что кто-то эту задачу уже решил ввиду важности ортогональных матриц в

.