Уравнение вроде
- это уравнение эллипса. Соответственно, просто полярная система координат будет неудачной, перед переходом в нее стоит либо сжать все по оси
, либо растянуть по оси
. Можно сделать это так, как предложил
ex-math, а можно сначала сделать замену
, а уже потом перейти от
к полярным координатам (результат будет тем же, но так, наверное, понятнее, почему он именно такой).
И, кстати, у Вас явно есть проблемы со знаками неравенств. Либо в исходном условии ошибка, либо в полученных пределах интегрирования.