Заставил-таки считать! Впрочем, ошибка сразу "вылезает", там под интегралом четверки быть не должно, свободный член сокращается.
Вам бы надо было до всяких полярных координат сделать замену

, тогда подынтегральная функция равна

. И области в этих координатах хорошо записываются.