есть эта задача в Боголюбове Н.Н., Митропольском Ю.А. Асимптотические методы в теории нелинейных колебаний?
есть, для вязкого случая
см. еще Арнольд Козлов Нейштадт Матем. методы Классической и небесной механики. там же должны обсуждаться методы доказательства устойчивости верхнего положения для задачи в гамильтоновой постановке (КАМ теормя).
еще:
Болотин С.В., Карапетян А.В., Кугушев Е.И., Трещев Д.В. Теоретическая механика