При

уравнение уже не будет квадратным и применять для него формулу корней квадратного уравнения нельзя. У Вас происходит деление на ноль в строчке
Код:
x1:=( -b-sqrt(D) )/(2*a);
...и программа аварийно завершает работу.
P.S. Кстати, консольное Win32-приложение и DOS-программа - это все-таки совершенно разные вещи...