у меня получилось
cos
d
sinpdp
rdr
это правильно?
Неправильно. Якобиан -- никуда не годен, пределы -- взяты с потолка, "{8" -- загадка (правда, легко разгадываемая как очепятка), и самое главное -- по размерности не сходится. У Вас размерность объёма -- типа "rdr" (т.е. квадратные метры), в то время как должно быть как?... -- чудовищно.
А ситуация между тем проста. Ваша область -- это парашютик, ограниченный сферой и конусом. Причём угол полураствора конуса совершенно откровенно равен 45 градусам. Вот из этого и исходите, расставляя пределы в сферических координатах. Ничего, кроме аккуратности, тут не нужно.