Блин, вот облом, а я думал это группа изометрии (или как её там), преобразований евклидовой плоскости. Попытаюсь вспомнить, как дело было.
Беру я, значит, такую штуку

и начинаю

и

линейно преобразовывать
А потом

, потом приравниваю

, и думал я получить преобразования, сохраняющие эту штуку

.