Нужно найти эквивалентные, то есть неразличимые, состояния и разбить множество состояний автомата на классы эквивалентности, то есть так, чтобы в каждом классе были только неразличимые состояния. Каждому классу будет соответствовать состояние нового автомата. Кроме того, для минимизации устраняют недостижимые состояния и циклы.
Обычно это легко можно понять на примере. Есть, например,
тут, (правда не оч хорошо, лучше смотрите в книгах по автоматам).