У вас слева многочлен третьей степени получается, а справа записан второй. Бяда.
По идее, раскрывать скобочки MATLAB должен уметь, равно как умеют это Maxima, Maple, Mathematica. Первая бесплатная, остальные платные, как и MATLAB.
Можете ещё разных тут посмотреть:
http://en.wikipedia.org/wiki/Comparison ... ra_systems (русской версии нет). И вообще поискать нетрудно.