Спрашивается: а что такого я сделал незаконного, что по трём точкам круга

я получаю функцию, которая этот круг отображает непонятно во что?
Забудем на время про условие

и потребуем вместо этого:

Понятно без вычислений, что этим условиям удовлетворяет функция

, и из дробно-линейных — только она. Теперь скажите: по какой причине при этом должно быть ещё и

, где

— почти произвольная точка?
Ясно, что функция

этого никогда не обеспечит (не считая случая

), то есть условия, которые Вы ставите, в общем случае несовместны.
Можно также спросить: почему Вы думаете, что при Ваших условиях прообразом единичной окружности является именно

? Того, что

и

, при том, что

произвольна, для этого недостаточно.