Это нормально (почти). Продолжайте исключать первую переменную из третьей строки. Если и в третьей строке получиться 2 нуля, то матрица вырожденная. Если же нет, переставьте вторую и третью строки, и продолжайте как ни в чем не бывало.
В численных методах разбираются многие вариации на тему Гаусса. В частности, какую строку выбирать для переменной. Одна из возможностей -- с наибольшим (по модулю) коэффициентом для этой переменной.