Ну вот, все готово, что бы разобраться. Итак, пусть
- центр исходного круга, тогда преобразование
переведет исходный круг в единичный. Если Ваше
то задача решена. Если нет, то все что остаётся в наличии - автоморфизм единичного круга
(
- образ точки
написанное переводит точку
в 0.) При этом, точки
и
куда-то уедут, и что бы вернуть их взад осталась единственная степень свободы - поворот круга как целого. Т.е. для произвольной
задача не решается, а для каких решается можно сообразить. Проблема в том, что у Вас было 3 с половиной условия (три точки и условие единичности радиуса), а параметров в дробно-линейном преобразовании только три, и эта половинка всю малину портит.