Разберитесь с неравенствами. Из первого и второго неравенства следует, что

, а это уже не пирамида.
Далее, Вам необходимо найти поток векторного поля через внешнюю границу, то есть

,
где

внешняя поверхность пирамиды, а

основание.
Таким образом, сначала ищете поток векторного поля через всю поверность

и из него вычитаете поток через основание.