Toms, я, к сожалению, в этой теме не шарю, но если Вы согласитесь с моими высказываниями, то решения не существует:
1. Ортогональная матрица — матрица, произведение которой на её же транспортированную будет единичной матрицей
2. Раз так, то если

,

Из-за квадрата вариантов всего 4 — необходимо перебрать кол-во

и

. Однако равенство 1-це нигде не достигается