Дробно-линейное отображение может быть представлено в виде комбинаций сдвига, растяжения, поворота и инверсии(т.е. отображения

). С тремя первыми отображениями все ясно. Разберемся с последним.
Пусть окружность(или в частном случае прямая) задается уравнением:

В комлексной плоскости после замены

соотношения для

и

будут:

Они задают окружность(ну и прямую, которая есть по сути окружность бесконечного радиуса).
Найти образ окружности просто: ведь окружность определяется координатами трех ее точек. Надо найти образ трех подходящих точек; окружность, проходящая через них, будет искомой.