Достаточно ли перед поворотом на угол

сделать параллельный перенос на

для получения нужного поворота?
Потом ещё назад перенести. Итого, поворот на

вокруг

переводит

в

.
Теперь придётся доправить поворот.
Ещё стоит заметить по поводу:
Всё ещё не очень понятно, что это за преобразование. Велик соблазн объявить его скользящей симметрией, но не могу подобрать прямую, относительно которой она бы возникала.
Тип мог бы в принципе зависеть от того, как соотносятся параметры. И в данном случае и зависит. Если поворот тривиальный (на ноль), у нас будет лишь перенос, а если переносы тривиальны, поворот. Что с общим случаем — остаток задачи.

Но здесь по крайней мере не придётся выделять квадрат как в некоторых других.
-- Ср май 29, 2019 23:57:37 --Вы путаете угол между векторами с аргументом комплексного числа.
При фиксированной ориентации в принципе можно определить угол для упорядоченной пары векторов, значения которого будут занимать уже всю окружность. Может быть, имелся в виду такой.