Уравнение вроде

- это уравнение эллипса. Соответственно, просто полярная система координат будет неудачной, перед переходом в нее стоит либо сжать все по оси

, либо растянуть по оси

. Можно сделать это так, как предложил
ex-math, а можно сначала сделать замену

, а уже потом перейти от

к полярным координатам (результат будет тем же, но так, наверное, понятнее, почему он именно такой).
И, кстати, у Вас явно есть проблемы со знаками неравенств. Либо в исходном условии ошибка, либо в полученных пределах интегрирования.