Цитата:
Работа идет с массивом (n+1)xn
Обычно строки указывают на первом месте:

. Получается, что вы работаете с транспонированной матрицей.

Хотя это не так уж и важно (а вот читать невозможно).
Цитата:
Пытался приводить к треугольному виду, но не работает, не понял, почему
Во-первых, кажется, в вашем коде неверно указаны пределы итерирования (например, цикл типа
for(int k=0; k<n; k++); сработает ровно

раз). Во-вторых, у вас есть деление, поэтому нужно проверять ситуацию с делением на ноль (при этом можно менять строки местами).
Цитата:
возможно, какой-либо другой метод решения слау
Да полно их, Жордана-Гаусса, Крамера, через

-разложение...