Увы, я плохо понял, что мне требуется сделать
Увы, вы и с задачей плохо поняли, что требуется сделать.
Ваша матрица совершает поворот вокруг плоскости

(то есть, оба уравнения относятся к одному геомерическому объекту - 2-мерной плоскости, а не являются двумя условиями). Вместо этого, вам нужно совершить поворот вокруг плоскости

Это можно сделать не подбором, а только вычислением. Причём, если вы будете подбирать только известные вам матрицы поворота вокруг плоскостей, ориентированных по осям координат, то вас ждёт неуспех: искомая не входит в их множество.