Случай а.
Школьный метод.
Он сводится к тому, что надо найти подходящую переменную, которая при малых отклонениях ведёт себя гармоничным образом.
Классический случай масса на Гуковский пружине.
Общая энергия
Решением этого уравнения является синусоида с угловой частотой
Остаётся привести нашу систему к подходящему виду.
Решаем в системе отсчёта покоящегося (по горизонтали) центра масс.
За обобщенную координату примем угол между вертикалью и линией, соединяющей центры цилиндров
Тогда при начальной относительной скорости цилиндров
Скорость малого цилиндра будет
, а большого
А полная кинетическая энергия
Через четверть периода она полностью переходит в потенциальную энергию малого цилиндра
То есть по аналогии с пружинным маятником получаем угловую частоту:
А амплитуда угла будет
Отсюда находим горизонтальные амплитуды колебаний центров цилиндров относительно центра масс:
и
Центр масс соответственно движется равномерно со скоростью
В общем окончательный ответ таков:
Для малых колебаний центр большого цилиндра движется по формуле
Малый цилиндр колеблется внутри большого по формуле
Где
Забыл сказать, что цилиндры движутся без вращений, поскольку все силы проходят через их центры и не создают моментов.