Читай "Вычислительные методы для инженеров", Амосов, Дубинский, Копченова.
Там разобран пример в ручную, но запрограммировать его на ПК, по всей видимости, будет не так то просто (т.е. конечно возможно, но придется немного повозиться). Эту проблему теперь могу сформулировать конкретнее. Дело в том, что после прямого хода получается
не треугольная, а произвольная матрица - т.е. система с нулевыми коэффициентами в произольных местах (на пк это даже не нули, а очень малые числа). Так что обратный ход в виде одной формулы с суммированием не запишешь, как я понимаю...