А вот контрпример более чем тривиальный. Всё, что было раньше, можно выкидывать в мусорку (и не читать).
В

есть подгруппа

, она действует на

-х точках. Единственный граф, выдерживающий действие

-- все рёбра одного типа. Его группа автоморфизмов --

.
Кстати, графов на четырёх вершинах, у которых группа симметрий изоморфна

, вообще нет (даже без условия "выдерживает действие

").