M<athЭто сферические координаты. Они хуже, чем цилиндрические, соответствуют форме области, и мы их используем только потому, что таково задание.
В сферических координатах радиальная координата

— это расстояние от начала координат до точки (а не от оси

до точки). Поэтому если внешний интеграл будет по

, то
нижний предел

будет зависеть от

. Зависимость эту можно найти из условия

(или

).
Если же внешний интеграл будет по

, то
верхний предел

будет зависеть от

. Зависимость можно найти из того же условия.