Ну вот, все готово, что бы разобраться. Итак, пусть
![$z_R$ $z_R$](https://dxdy-02.korotkov.co.uk/f/5/1/e/51e6f9f5f1810dab77755cf524a2220482.png)
- центр исходного круга, тогда преобразование
![$w=\frac{z-z_R}{a}$ $w=\frac{z-z_R}{a}$](https://dxdy-02.korotkov.co.uk/f/9/f/0/9f0f2a49fddc59d3e977d50cf94113ca82.png)
переведет исходный круг в единичный. Если Ваше
![$z_0=z_R,$ $z_0=z_R,$](https://dxdy-03.korotkov.co.uk/f/6/e/0/6e04105d7c353aa902889c6fda2ce32e82.png)
то задача решена. Если нет, то все что остаётся в наличии - автоморфизм единичного круга
![$e^{i\varphi}\frac{w-w_0}{1+w_0^*w}$ $e^{i\varphi}\frac{w-w_0}{1+w_0^*w}$](https://dxdy-03.korotkov.co.uk/f/6/b/e/6beca77493b75ba4acf970b42c696ac182.png)
(
![$w_0$ $w_0$](https://dxdy-01.korotkov.co.uk/f/0/8/a/08a0aa2c6ce40306bad8bab7f60a952382.png)
- образ точки
![$z_0,$ $z_0,$](https://dxdy-03.korotkov.co.uk/f/6/9/7/6973f6d750ecfffba35374b5b503771582.png)
написанное переводит точку
![$w_0$ $w_0$](https://dxdy-01.korotkov.co.uk/f/0/8/a/08a0aa2c6ce40306bad8bab7f60a952382.png)
в 0.) При этом, точки
![$i$ $i$](https://dxdy-04.korotkov.co.uk/f/7/7/a/77a3b857d53fb44e33b53e4c8b68351a82.png)
и
![$-i$ $-i$](https://dxdy-03.korotkov.co.uk/f/a/1/b/a1b87a364d2766a83d85fc6b5c14aa3b82.png)
куда-то уедут, и что бы вернуть их взад осталась единственная степень свободы - поворот круга как целого. Т.е. для произвольной
![$z_0$ $z_0$](https://dxdy-02.korotkov.co.uk/f/d/1/a/d1a81d9dc6dd30e43ba27c5490a34a3282.png)
задача не решается, а для каких решается можно сообразить. Проблема в том, что у Вас было 3 с половиной условия (три точки и условие единичности радиуса), а параметров в дробно-линейном преобразовании только три, и эта половинка всю малину портит.