Идея решения заключается в следующем. Трудность при вычислении интеграла состоит в том, что граница множества интегрирования задается неявным уравнением, которое не решается относительно ни одной переменной в явном виде. Произведем замену переменных, в результате которой уравнение границы множества интегрирования упрощается.


См.
Вики, atan2 относительно обозначения, которое часто употребляется в языках программирования и редко - в русскоязычной математической литературе.
Возникает естественный вопрос: как додуматься до нее? Было сделано две попытки. Одна из них -

- оказалась неудачной, вторая - успешной.
Далее, множество интегрирования имеет форму перевернутой черви (одна из карточных мастей) с вертикальной осью симметрии

. Я не знаю, как построить множество интегрирования без применения математических пакетов (Если я ошибаюсь, пусть старшие товарищи меня поправят.). Из технических соображений рассмотрим интегрирование по правой половине множества

в обозначениях вопрошателя.
После замены переменных множество

переходит в множество

Заметим, что отрезок

при этом стягивается в точку - начало координат (Именно в связи с этим обстоятельством интегрируем по половине

, ибо образ всего

состоит из двух множеств, пересекающихся только в начале координат

.). Понятно, что

и

неотрицательны. Изображение множества

несколькими способами (и другие вычисления сделанные с Мэйплом) см.
в прилагаемом PDF файле.
Координаты точек границы множества

удовлетворяют уравнению

. Среди бесконечного множества его действительных решений выбираем два

и

. Их графики действительно ограничивают

(см. приложенный файл). Определитель якобиана отображения

равен

, что находится вычислением. Теперь искомый интеграл равен

.
Двойной интеграл вычисляется как повторный

Внутренний интеграл равен

Теперь

Поскольку после замены переменных получается несобственный интеграл, то требуются дополнительные рассуждения. Вместо

рассмотрим

где

и

- прообраз

.
Поскольку

то эти множества исчерпывают соответственно

и

.
Задача напоминает мне примеры и упражнения из
Цитата:
Г. Харди, Курс чистой математики
Э. Гурса, Курс математического анализа
времен очаковских и покоренья Крыма.