f/g получилось частное (х-1) и остаток 3х^2-4x
это верно, почти), остаток -3х^2+4x, но можно (и нужно) использовать 3х^2-4x
дальше g / на остаток получается опять (х-1) и остаток х^2-x-3/4...и т.д.
А это неверно, степень остатка всегда меньше степени делителя