Получаем символьную переменную (полином):
k=2;
p=expand(sym((x^3 - x^2 - 2*x - 1)^k)); % указываем полином
pEx=(-1)*p
Теперь нужно получить вектор, компоненты которого равны коэффициентам полинома

.
Как это сделать?
P.S. Бывает, что коэффициент при некоторых

равен 0 - в таких случаях количество членов в символьном выражении не совпадает с размером вектора коэффициентов.