найти множество пространства состояний, в котором система будет устойчива ? Я не совсем понял.
Я не совсем понимаю, что это есть быть. Множество устойчивых положений равновесия? Об этом я писал Вам выше. Или, может быть, имеется в виду "область притяжения положения равновесия" (т.е., множество тех точек, стартуя из которых, система придет в Вашу точку (0,0)? Если так - то внимательно посмотрите доказательство теоремы Ляпунова (и тогда по Вашей функции эта область построится (точнее, построится некоторая ее подобласть: точно найти область притяжения - неподъемная задача))
