Преобразование у Вас дробно-линейное, и любое такое преобразование любую прямую или окружность переводит также в прямую или окружность. Любая прямая или окружность однозначно строится по трём точкам (и прямая тоже по трём, т.к. мы заранее не знаем, будет ли образом данной линии окружность или прямая). У Вас границей полукруга являются как раз два таких участка, вот и выберите на каждом из них по три каких-нибудь точки и посмотрите, куда они перейдут. (В качестве двух из них, конечно, надо брать вершины полукруга, ну а по ещё одной возьмите что-нибудь попроще.)
А наглядно можно где-нибудь посмотреть этот переход? В классе мы делали что-то подобное. но я так и не разобралась почему так получается. Это как-то надо вычислить или это так сразу видно?