Если речь идёт о части курса теоретической физики, то изъять векторный потенциал - это просто невозможно. Чтобы убедиться в этом, загляните ну хотя бы во второй том Ландау. Первая же функция Лагранжа, относящаяся к электромагнетизму, содержит векторный потенциал.
Специально чтобы вас порадовать: существуют лагранжева и гамильтонова формулировки электромагнетизма, содержащие только поля, без потенциалов :-) Впрочем, существует и эксперимент Ааронова-Бома.
Я уже не говорю о том, что векторы напряжённости электрического и магнитного поля очень неудобны в сформулированной релятивистски инвариантным образом теории. Они не являются компонентами 4-вектора.
Ну почему неудобны? Они являются компонентами тензора.