Беда в том, что для того, чтобы система,
устойчивая в разомкнутом состоянии, была устойчива и в замкнутом, необходимо и достаточно, чтобы на тех частотах, для которых ЛЧХ больше нуля, значения фазовой характеристики были больше

. Судя по вашей ПФ системы в разомкнутом состоянии условия теоремы не выполнены.
В данном случае можно использовать следующее: для устойчивости замкнутой системы необходимо и достаточно, чтобы годограф ЧХ

разомкнутой системы при изменении частоты от 0 до

охватывал точку -1 на угол

, где

- количество полюсов в правой полуплоскости, а

- полюса на мнимой оси (с учётом кратности естественно). Собственно ПФ разомкнутой системы есть, с полюсами, я думаю, вы разберётесь, осталось построить годограф и посмотреть на угол (всего делов то

).
Правда меня во всей этой истории смутила фраза
Исследуется на устойчивость САУ в разомкнутом состоянии по...
Я её трактовал как "Исследуется на устойчивость замкнутая система по ПФ разомкнутой системы...". Если это не так, то я вообще ничего не понял.