Но я вижу, что произведение норм матрицы (прямой и обратной) всегда пропорционально N в квадрате.
Не обязательно. Найдите число обусловленности единичной матрицы.
-- 12 фев 2018, 16:15 --Чем более точно мы хотим решать СЛАУ, тем выше берем N
Если мы решаем СЛАУ, то размерность нам уже задана. Возможно, Вы имели в виду "мы дискретизуем задачу, сводя к решению СЛАУ, и чем меньше шаг, тем больше размерность СЛАУ"?
-- 12 фев 2018, 16:16 --И что тогда делать, если хочется считать СЛАУ до 20-го знака? Спец-библиотеки использовать, у которых эпсилон начинается, условно говоря, от 100-го знака?
Иногда - повышенная точность с соответствующими библиотеками, чаще - регуляризация.