при некоторой критичной размерности матрицы n просто не хватает ОЗУ.
Немного увеличить "критическую размерность" можно техническими средствами заложенными в компиляторе, управляя памятью предоставляемой файлом подкачки. Так, например, интеловские компиляторы ifort icc имеют оптцию \heap-array, позволяющую задавать место, где будет временно располагаться матрица -
heap или
stack. Heap позволяет увеличить предел памяти за счет уменьшения скорости вычислений. Это сработает, если проблема в частых передачах матрицы из функции в функцию без использования указателей. Кроме того, stack можно увеличивать, задавая вручную значения памяти.
http://stackoverflow.com/questions/7992 ... k-and-heaphttp://wiki.answers.com/Q/What_is_diffe ... ack_memoryhttp://en.wikipedia.org/wiki/Buffer_overflowМоя практика показывает, что обычно большие матрицы являются разреженными. Как у вас с этим?