dgeensА это вам зачем, чтобы научиться или знать?
Чтобы научиться, берете книжку, как вам выше посоветовали.
А чтобы знать - гуглите "харатеристическое уравнение матрицы". Это детерминант матрицы особого вида, который является полиномом
-й степени. Надо найти его корни, которые и будут собственными значениями матрицы. Ну а дальше подставляете это значение в свою систему линейных уравнеий и решаете его. У вас возникнет решение в виде одного или нескольких так называемых собственных векторов. Все зависит от того, какого порядка у вас корень.
Кратко про это можно прочитать например здесь:
https://math.semestr.ru/math/vector.php