Насколько я понимаю, в первой задаче необходимо записать, что

, разложить функцию

в ряд Тейлора и в явном виде посчитать

(правда, в жоржановом базисе). Ряд будет конечен, поскольку матрица

нильпотентна.
Насчет матричных квадратных уравнений: вообще, эта задача в общем виде не решена. Но для матриц 2х2 она решается так: пусть есть общее квадратное уравнение

. Ищем корни уравнения

. Оно в общем случае имеет 4 корня. Ищем соответствующие "собственные векторы", и тогда если

, то решениями будут матрицы вида

. Это общий случай, т.е. когда вектора

и

не коллинеарны.