Нет правильных или неправильных способов квантования. Все они в итоге приводят к одним и тем же результатам различными путями, более или менее сложными. Вообще, существует большое количество способов, а именно:
1) Квантование ("каноническое") в физической калибровке (например, в кулоновской);
2) Квантование в калибровке Лоренца (ковариантное), с введением условия Гупты-Брейлера;
3) Квантование в других калибровках (например, в калибровке светового конуса, аксиальной, и т.д.);
4) Квантование посредством интеграла по траекториям (в более обширном смысле в формулировке Фаддеева-Попова);
5) БРСТ квантование;
6) Формализм Баталина-Вильковиского.
Теперь вкратце что происходит в каждой из этих формулировках, более подробно останавливаясь на тех двух, о которых вы знаете. В первом способе квантования с самого начала распространяются только физические моды поля (две для безмассового, три для массивного векторного поля), в ущерб лоренц-ковариантности. При этом пропагатор наивно получается нековариантным, но (об этом можно почитать, по-моему, у Шварца или вам самому вывести как упражнение) его на самом деле можно домассажировать до ковариантного и получить Лоренц-ковариантные правила Фейнмана. Но это неудобно, проще с самого начала работать в калибровке Лоренца, но тогда в ней будут распространятся все четыре моды, и условие Гупты-Брейлера призвано убить нефизические моды на уровне операторов. При этом, как вы знаете, возникает неприятность: времениподобные моды получают коммутационные соотношения с обратным знаком, т.е. эти моды имеют отрицательную норму. НО, спасает то, что эти моды убиваются продольными модами, и это можно показать последовательно и для петлей тоже. Т.е. оба подхода дают в итоге одно и то же.
Теперь, если вы хотите понять как последовательно проквантовать неабелевы калибровочные теории, то вам придется выучить "черную магию" (интегралы по траекториям) и формализм Фаддеева-Попова. Без них никак (многие пытались в шестидесятых но как-то не пошло). Schwartz и Srednicki в помощь. Эта процедура квантования, как можно показать, эквивалента канонической процедуре (вот этот момент многие обходят стороной, но он простой: во-первых, нужно заметить что Ф-П формализм работает в любой калибровке; во-вторых, можно взять очень простую аксиальную калибровку
и показать, что Ф-П эквивалентен каноническому квантованию в этой простой калибровке; тогда автоматически это верно в любой калибровке). В случае КЭД процедура Ф-П, есть что называется, overkill, потому что духи отщепляются от континуального интеграла и выпадают из рассмотрения, но как упражнение КЭД можно тоже проквантовать и по Ф-П. После этого можно дорасти до БРСТ симметрии в калибровочных теориях и понять как она не только позволяет формально доказать ренормализуемость, но и на ее основе можно построить современный метод квантования, который очень плодотворен в теории струн. Этот метод отталкивается от формализма квантования систем со связями Дирака (о котором можно почитать в его книге по квантовой механике) и общается на формализм Баталина-Вильковиского. Опять же, КЭД можно в виде упражнения проквантовать в формализме БРСТ (в калибровке Лоренца) и показать, что гильбертово пространство теории состоит только из состояний, соответствующим поперечным, физическим фотонам