1. В скобках должна быть вычисленная дивергенция.
2. Под интегралом должен быть правильный элемент объёма в сферических координатах:

.
3. По

и

Вы правильно нашли пределы, а по

нет. Например, двигаясь от начала координат в направлении

(вертикально вверх), Вы по условиям задачи находитесь в пределах конуса, но в Ваши пределы

этот совершенно законный угол

не попадает. Возможно, Вы не знали, что угол

отсчитывается от положительного направления оси

(т.е. от направления вертикально вверх, от Северного полюса).
4. Двойка перед интегралом не нужна. Возможно, Вы её написали потому, что у конуса есть две половины -- верхняя и нижняя. Но нижнюю надо отбросить, так как в условии у Вас

.
Учтите все это, запишите правильно интегралы, продолжим.