Да, я Вас не совсем понял и подумал, что для разных значений

системы решаются независимо.
Но даже при том, что Вы всё решаете совместно, всё равно многое остаётся в силе.
Первая система:

Матрица системы, зависящая от

, по-прежнему вырождена и обратной не имеет.
Условия совместности (теперь лишь необходимые, но недостаточные):

Вторая система:

Умножаем каждое векторное уравнение на

. Учитывая тождество

, получаем:

Если выполнены условия совместности для первой системы, это даёт

.
Итак, вторая система точно несовместна. И раз Вы и при её решении что-то получаете, скорее всего, используется псевдообратная матрица Пенроуза.
-- Ср май 15, 2019 11:45:10 --А можно ли всё-таки коснуться этого вопроса?
Тогда поясните, пожалуйста, какое определение Вы даёте вектору

, каким геометрическим смыслом его наделяете. И как он у Вас связан с матрицей поворота (с самой матрицей всё ясно и однозначно). А я подумаю, как его найти.
Могу сразу сказать, что вектор

, направленный вдоль оси вращения, будет ортогонален разности любого вектора после поворота и его же до поворота. В том числе, конечно, и всем

. И в случае общего положения достаточно двух пар

для нахождения оси вращения: ось коллинеарна векторному произведению
