Понятно. Вот картинка:

Вам надо каждую точку левой фигуры отобразить в точку правой фигуры.
Способ подойдёт не только для выпуклых, но и для
звёздных областей.
Внутри каждой фигуры выберем точку, относительно которой она звездная. Назовём эту точку центром. Соединим отрезками центр с вершинами. Эти отрезки разбивают фигуру на

частей, которые назовём секторами. Перенумеруем секторы от

до

, обходя их против часовой стрелки. На картинке секторы обеих фигур, имеющие одинаковые номера, обозначены одним цветом.
Задача сводится к отображению каждого сектора в соответствующий сектор.
Введём на каждой фигуре полярные координаты

так, чтобы центр имел

. Тогда

-му сектору фигуры соответствует некоторый диапазон углов

Дальше Вы и сами догадываетесь.
Угловая координата

переводится линейной функцией в новую угловую координату

.
Радиальная координата

переводится линейной функцией (но уже зависящей от угла) в новую радиальную координату

.