Насколько я понимаю, в первой задаче необходимо записать, что
, разложить функцию
в ряд Тейлора и в явном виде посчитать
(правда, в жоржановом базисе). Ряд будет конечен, поскольку матрица
нильпотентна.
Насчет матричных квадратных уравнений: вообще, эта задача в общем виде не решена. Но для матриц 2х2 она решается так: пусть есть общее квадратное уравнение
. Ищем корни уравнения
. Оно в общем случае имеет 4 корня. Ищем соответствующие "собственные векторы", и тогда если
, то решениями будут матрицы вида
. Это общий случай, т.е. когда вектора
и
не коллинеарны.