Напишу некоторые соображения о возможности-невозможности замкнутых траекторий. Используем обозначение:

здесь

-- период радиальных колебаний. Если

, тогда траектория будет замкнутой. Это требование можно записать в виде

. Применим операцию усреднения к радиальному уравнению движения. Так как

, то получим

Если выражение в круглых скобках положительное, то выбором параметров задачи (

) можно попытаться обеспечить замкнутость траектории. Выражение в круглых скобках зависит от начальных параметров

и от

. Возможно, что нужно рассмотреть гармоническое движение частицы в окрестности минимума

. Только вот минимум не слишком красивый.
Картинка в пункте (в) из
Сборник задач по классической механике Г.Л. Коткин, В.Г.Сербо.
иллюстрирует траекторию для некоторого набора параметров, а если эти параметры пошевелить, то кто его знает.
P.S. Заметил сейчас, что средние в круглых скобках также зависят от

.