Слышал, что ещё тем, что в Гауссе быстро копится ошибка из-за деления на каждом шагу.
Если делать Гаусса в лоб и делить большое на маленькое, то даже не копится, а преумножается.
Для этого и делают pivoting, чтобы всегда делить меньшее на большее (pivot выбирают, чтобы был больше всех других).
В этом случае ошибка наоброт подавляется, т.к. множитель меньше 1. (Я ссылку выше давал на LU.)
А раз подавляется, то даже и не копится. Метод безупречен, не считая вычислительного времени, которое впрочем всё равно разумно.