Ещё упростил задачу. Существенны 2 варианта:
1. одноцветные, которых

2. разноцветные, которых без поворотов

. но каждую разноцветную можно повернуть 1, 2 или 3 раза, и она перейдёт в какую-то из

. поэтому уникальных разноцветных в 3 раза меньше:

Вопрос что в таком подходе делать, если кол-во вершин -- не простое число. Например, для квадрата раскрасим вершины в цвета

, тогда квадрат перейдёт в себя уже при повороте на 2, а не на 4.
-- 31.08.2023, 17:17 --Действительно, не туда.
Итак. Разорвём многоугольник и вытянем в одну линию. Таких различных линий будет, естественно,

.
При этом линия

даёт тот же многоугольник, что и

,

и так далее — всего шесть.
Линия

даёт многоугольник, который переходит в себя при любом повороте, так что такие многоугольники будут подсчитаны один раз.
Линия

даёт многоугольник, который переходит в себя при повороте на две вершины, так что такие многоугольники будут посчитаны два раза.
Наконец,

даёт многоугольник, который переходит в себя при повороте на три вершины и будет подсчитан три раза.
То бишь, формула

Всё (для шести вершин). Вроде так.




Верно понял

?