В этом случае нужно произвольно выбрать и зафиксировать одну из переменных?
Произвольно -- нельзя. Случайно может оказаться так, что эта наугад выбранная переменная как раз для этой-то системы и фиксирована. Тривиальный пример:

сводится к

. Да и, кроме того, фактически свободных переменных может оказаться больше одной -- если по ходу решения ещё какие-то строчки исчезнут.
Надо привести левую. часть матрицы к единичному виду -- пользуясь при необходимости и перестановкой столбцов (вместе с обозначениями для переменных, конечно). И вот теперь-то те переменные, которые окажутся правее квадратной единичной части, действительно могут играть роль свободных параметров.