Насколько я понимаю, в первой задаче необходимо записать, что 

, разложить функцию 

 в ряд Тейлора и в явном виде посчитать 

 (правда, в жоржановом базисе). Ряд будет конечен, поскольку матрица 

 нильпотентна.
Насчет матричных квадратных уравнений: вообще, эта задача в общем виде не решена. Но для матриц 2х2 она решается так: пусть есть общее квадратное уравнение 

. Ищем корни уравнения 

. Оно в общем случае имеет 4 корня. Ищем соответствующие "собственные векторы", и тогда если 

, то решениями будут матрицы вида 

. Это общий случай, т.е. когда вектора 

 и 

 не коллинеарны.