По 6 степеней свободы на каждую сферу, полная размерность фазового пространства для двух сфер - 24.
Центр масс неподвижно закреплён в начале координат - 3 уравнения на его координаты и как следствие 3 на скорости.
Расстояние между центрами шаров фиксировано - 1 уравнение на расстояние и как следствие 1 на производную расстояния.
В точке контакта нет проскальзывания - 2 уравнения на скорости
Закон сохранения энергии системы - 1 уравнение
Закон сохранения момента импульса системы - 3 уравнения
Всего 14 уравнений, осталось 10 свободных переменных.
Далее симметрии. У каждой сферы три произвольных угла поворота, от которых ничего не зависит - 6 переменных не входят в уравнения
Поворот глобальной системы координат в данный момент можно выбрать произвольно - ещё три переменные не свободные. Выберем для ясности поворот глобальной системы координат так, чтобы в данный момент направление на центр малого шара было по OX, а направление скорости центра малого шара было по OY.
Осталась одна свободная переменная, от которой должны зависеть все остальные переменные и их производные, с учётом симметрий. В том числе, для этой переменной динамическое уравнение должно быть возможно нелинейным дифференциальным уравнением первого порядка. У этого уравнения не может быть колебательных режимов, а так как область изменения этого параметра ограничена, в пределе
его решение стационарно - переменная стремится к некоторому пределу.
Следовательно, в этом пределе модуль скорости шарика, определяемый величиной этой переменной, постоянен, а ускорение постоянно по модулю и ортогонально его скорости. Следовательно, центр шарика движется по окружности.
Правда, возникает вопрос, не учел ли я симметрии пространства при повороте глобальной системы координат дважды: в законе сохранения импульса и в самом конце? Кажется, нет.