В 1), когда нашли дивергенцию (

), можно сразу выбросить 

, так как это нечетная по 

 функция в симметричной относительно 

 области. Тогда по объему интегрируется 

, то есть это просто объем области между параболоидом и плоскостью.
Ещё, Ваши поверхности точно незамкнуты? Пишут же они, например, 

. Хоть и неравенство, но это означает кусок поверхности. Может, и с 

 так же?
2) Да, здесь ответственные за поток компоненты как раз обращаются в нуль на координатных плоскостях -- можно считать, что область замкнута. У меня получилось то же самое, за исключением знака: 

. Но я, конечно, тоже мог ошибиться.
P.S. Похоже, что ошибка у Вас: дивергенция равна 

. Оба слагаемых 

 во всей области и дают соответственно первое и второе слагаемое в Вашем ответе -- откуда взяться отрицательному интегралу?