Забавная система. Вы обратили внимание, что точка движется вокруг центра с постоянной угловой скоростью?
Верно! А почему забавная?
Формулировку Вы не привели, но, возможно, при доказательстве используется функция Грина, а она выводится в курсах основ анализа в предположении непрерывной дифференцируемости. Поэтому, да, непрерывную дифференцируемость надо доказывать.
Спасибо. Да, используется теорема Грина. На всякий случай, привожу формулировку теоремы Бендиксона-Дюлака.
Цитата:
Пусть

- непрерывно дифференцируемое векторное поле определенное в односвязном подмножестве

на плоскости. Если существует непрерывно дифференцируемая вещественнозначная функция

такая, что

имеет один знак на всем

, тогда не существует замкнутых орбит, лежащих полностью в

.
В моем случае

.
Т.е. устойчивый цикл. Но для этого нужно ещё, в общем случае, отсутсвие точек покоя в кольце.
Да, это так. То, что начало координат - это единственная точка покоя системы - я заключил из вот этого факта
точка движется вокруг центра с постоянной угловой скоростью
Следовательно, в кольце точек покоя быть не может.
От определений зависит, нужно смотреть определение неустойчивого цикла.
В той книге, которую я прохожу (Steven H. Strogatz, Nonlinear Dynamics And Chaos), строгое определение устойчивого/неустойчивого цикла не дается. Говорится, что цикл - это изолированная замкнутая траектория. Устойчивый цикл - это такой, к которому стремятся все соседние траектории. Неустойчивый цикл - это такой, от которого они отдаляются. Наполовину устойчивый - когда с одной стороны стремятся, с другой отдаляются.
В одной из тех книг, что Вы советовали в предыдущей теме (Баутин Н.Н, Леонтович Е.А. Методы и приёмы качественного исследования динамических систем на плоскости), определение предельного цикла такое. Предельный цикл - это замкнутая траектория, которая является либо

, либо

предельной траекторией для всех достаточно близких соседних траекторий. В первом случае предельный цикл - устойчивый, во втором - неустойчивый. Я так понимаю, что это в принципе то же самое, только записанное более строго (если расписать строгое определение

и

предельных траекторий).