Да в сферических тоже можно вычислить, только более хлопотно (впрочем, как сказать; преобразование из сферических координат в цилиндрические и обратно тоже вычислений требует). Формулы перехода:
Уравнение плоскости

и боковой поверхности

в сферических координатах будет, соответственно,

и

. Линию пересечения находим из условия

, откуда, с учётом очевидного неравенства

в области

, получаем

. Наконец,
Да, первый раз невнимательно посмотрел Ваш интеграл. Он у Вас даже не по слою

, а по полупространству

- из-за того, что Вы написали пределы интегрирования

вместо

.