После первого интегрирования
Ну и после подстановки иксов полученный интеграл по игрекам тоже пусть и со скрипом, но считается.
В полярных координатах, пожалуй, действительно проще. Там сходу получается один интеграл от

и другой от

. Граница между этими интегралами проходит по соответствующему арктангенсу. В ответе появится некий логарифм, а вот синусы/косинусы с арктагенсом можно будет "сократить".