Всё проще.
Нужно вспомнить что такое преобразование Кэли и теорему:
Пусть

-- кососимметрическое преобразование унитарного пространства

. Тогда преобразования

,

обратимы, преобразование

унитарно, не имеет собственных значений, равных единице, и

. Обратно, если

-- унитарное преобразование и 1 не является его собственным значением, то преобразование

-- кососимметрическое и

.
Таким образом пусть

-- ортогональная матрица, которую нужно найти.
Произвольная кососимметрическая матрица запишется в виде:
Откуда
Откуда записывается система на

.
Рекомендую
Основы линейной алгебры Мальцева.