С общим определением тут есть проблема: мы часто рассматриваем группу, действующую на некотором множестве, а характеристики берем не отдельных элементов этого множества, а чего-то более сложного. Например, у нас есть евклидово пространство
; есть группа всех его биекций в себя, у нее есть подгруппа изометрий - биекций, сохраняющих расстояние. При этом биекция пространства в себя естественным образом задает биекцию множества
пар точек в себя, соответственно подгруппа изометрий
некоторую подгруппу группы всех биекций пространства пар точек в себя. На пространстве пар точек у нас есть функция расстояние, и она инвариантна относительно получившейся подгруппы.
Еще можно рассмотреть множество (упорядоченных) троек, на нем ввести функцию "угол", и обнаружить, что она тоже инвариантна относительно соответствующей группы.
Но при этом изначальное пространство, на котором действуют изометрии, область определения расстояния и область определения угла - это три разных функции.
Хотя для группы симметрий как раз всё хорошо: нужно в качестве
взять функцию "индикатор нашего объекта". Только естественно брать не всю подгруппу, относительно которой эта функция инвариантна, а ее фактор по подгруппе, оставляющей точки нашего объекта на месте.
Вообще я бы сказал, что это тот случай, когда есть куча "примерно одинаковых" понятий, называемых одним словом, которые "всем" понятно, как формализовывать в каждом конкретном случае, но дать общую формализацию сложно (и "никому" не нужно).
Если всё же пытаться - то, видимо, надо рассматривать разные структуры из элементов исходного множества (например, пары, или подмножества, или еще что-то), требовать, чтобы структуры из этого множества переходили в другие структуры из него же, и рассматривать функции на них. Наверное можно дописать, но получится длинное и довольно бесполезное определение.