Посчитал задачку вручную, при 

 только. Для этого частного случая у меня вышла точно такая же 

 и почти такая же 

 (отличе в 

 несущественное: слагаемое 

 у меня со знаком плюс). Это для варианта задачи, когда оськи маятников находятся в одной плоскости и плоскость колебаний нижнего маятника "вращается" вокруг оськи верхнего маятника.
При этом не получаются собственные частоты из ответа задачника.
Не получается ответ из задачника и в другом варианте - когда оськи маятников также образуют угол 

 но не лежат в одной плоскости, причём плоскость колебаний нижнего маятника в этом варианте тоже "вращается" вокруг оськи верхнего маятника.
Ближе всего к ответу из задачника у меня получился ответ для варианта, в котором оськи маятников образуют угол 

 не лежат в одной плоскости, причём обе плоскости колебаний маятников всё время остаются вертикальными. Для такой модели всё легко пишется в неподвижной декартовой с.к. 

 - как на рисунке 
drzewo, но с неподвижными ортами. В этом варианте получилась одна мода как в задачнике: 

 с частотой 

 (все размерные параметры положил для удобства равными единице), но при этом другая мода не совпала с ответом: вышло 

 с частотой 

 (Возможно, где-то и ошибся.)
Интересно, а у кого-нибудь получился весь ответ из задачника (ТС привёл его 
здесь)?