Насколько я понимаю,они образуют группу.
Нет, не образуют, если там в знаменателях действительно везде одна и та же

.
Если

всё-таки разные, советую познакомиться с проекивной линейной группой

. Она состоит из матриц

, рассматриваемых с точностью до умножения на ненулевой скаляр. Стало быть, фиксированная точка преобразования — это собственный вектор соответствующей матрицы (не важно какой, т. к.

состоит из троек чисел с точностью до умножения на ненулевое). Ясно, что в данном случае наименьшим числом собственных векторов будет не 2, а 1.
Далее, если

, то, разумеется,

, т. е. отображения, имеющие общую фиксированную точку, образуют полугруппу, а насчёт группы и большего общего набора фиксированных точек легко додумывается.
Однако если потребовать просто наличие фиксированных точек, притом конкретного их числа, ничего не выйдет. В любую группу входит тождественное преобразование, имеющее бесконечное число фиксированных точек.