Всё проще. 
Нужно вспомнить что такое преобразование Кэли и теорему:
Пусть 

 -- кососимметрическое преобразование унитарного пространства 

. Тогда преобразования 

, 

 обратимы, преобразование 

 унитарно, не имеет собственных значений, равных единице, и

. Обратно, если 

 -- унитарное преобразование и 1 не является его собственным значением, то преобразование 

 -- кососимметрическое и 

.
Таким образом пусть 

 -- ортогональная матрица, которую нужно найти.
Произвольная кососимметрическая матрица запишется в виде:
 
Откуда 
 
Откуда записывается система на 

.
Рекомендую 
Основы линейной алгебры Мальцева.