Получил (?):
Правильно. Первым делом найти положение равновесия.
Пытался разложить
![\[ (1 + \frac{{xy}}{{a^2 }})^{ - 1} \] \[ (1 + \frac{{xy}}{{a^2 }})^{ - 1} \]](https://dxdy-01.korotkov.co.uk/f/4/f/d/4fd5580013403fe44239be22fe87d36082.png)
Правильно. Вторым делом разложить потенциальную энергию в окрестности равновесия до квадратичных членов, то есть
(первое слагаемое у Вас и так квадратичное). А теперь приводим квадратичную форму
к диагональному виду. Только тут одна тонкость есть: нужно еще кинетическую энергию знать. Если она

, то просто диагонализуете потенциальную, а если нет... тогда еще интереснее.