Тут логика такая: вы исходите из формулы

и идёте к формуле

попутно используя условие

Но в физике формулы не существуют сами по себе. Каждая формула имеет область применимости - она "привинчена" к формуле намертво, с самого её рождения и до смерти.
И вот если приглядеться к условиям применимости, то станет видно:
-

применима
всегда;
- а вот

сама по себе применима только при условии

!
Если же у нас

то вместо этой формулы, необходимо пользоваться другой, более точной:

"
При переносе малого заряда
совершается малая работа, равная произведению 
"
Логично?
И вот теперь, исходя из этой формулы, с уже подходящей областью применимости, мы можем написать:

ну и так далее. Теперь получится правильное рассуждение, ведущее к формуле, которую вы хотите.
А ваше первоначальное рассуждение имело такую структуру:
- сначала вы использовали формулу, верную при некотором условии, и вместе с ней использовали это условие, - это законно;
- а потом, вы взяли окончательную формулу

и забыли, что все предыдущие выкладки были верны при этом некотором условии, - это уже незаконно.
В науке можно расширять область применимости каких-то законов и формул, но нельзя это делать просто так, без оснований и аргументов. Нельзя этого делать, самому не замечая, что происходит.
В будущем, запоминая какие-то формулы, запоминайте также и условия, при которых эти формулы верны, и ими можно пользоваться.