код алгоритма обращения матриц есть в LAPACK, называется dgetri (
http://www.netlib.org/lapack/double/dgetri.f). Работает через разложение на треугольные множители. Там же есть более быстрые варианты для специальных матриц --- положительно определённых, неопределённых, треугольных.
Если нужно на С, то можно заглянуть в CLAPACK, но он менее читабельный --- это автоматический перевод с фортрана.
Если нужна работающая версия, можно взять реализацию LAPACK в Intel MKL, AMD ACML и иже с ними.
из литературы посоветую более современные J. Demmel, Applied Numerical Linear Algebra как учебник и Golub, Van Loan, Matrix Computations как настольную книгу по предмету.