Ну, что значит - "как"?
Например, возьмём единичный элемент группы. Он все вершины многоугольника оставляет на месте, поэтому все раскраски инвариантны. Поэтому их будет

штук.
Возьмём элемент группы, который поворачивает многоугольник на

оборота. Легко видеть, что в инвариантной раскраске все вершины должны быть одного цвета, поэтому таких раскрасок будет

.
Так надо перебрать все

элемента группы диэдра. Все

полученных числа надо сложить и поделить на число элементов в группе.
Если немного подумать и сообразить, какие элементы группы дают одинаковое число инвариантных раскрасок, то можно сэкономить на вычислениях.