Ответ:

Если частоты

несоизмеримы, то максимальное отклонение нижнего шарика от положения равновесия

,
длина нити, связывающей верхний шарик с потолком

.
Несмотря на относительную простоту ответа, "олимпиадного" решения не нашел, задачу решал "технически":
Так как в начальный момент верхний шар покоится, то движение будет происходить в одной плоскости (вращение Земли и другие эффекты не учитываем).
Обозначим абсолютные отклонения от вертикали, длину нити и массу верхнего шара через

, L, M, а нижнего через

, l, m.
Тогда лагранжиан в линейном приближении (очень малые отклонения):

.
Уравнения движения:

,

.
Ищем гармонические решения, получаем уравнение частот:

.
Уравнение частот имеет два решения

, которые по теореме Виета связаны отношением

,

,
откуда легко находим

.
Вычислив с учетом начальных условий амплитудные векторы системы находим в явном виде график движения нижнего шара:

.
Если частоты

несоизмеримы, то получаем вышеприведенный ответ, если соизмеримы - простой ответ не просматривается.
При максимальном отклонении шары покоятся.