Два замечания.
1) У пирамиды 4 грани. Поток через грань
равен нулю, так как
, это да. Но поток через грань
тоже вносит вклад в общий поток и участвует в общем балансе, и его тоже нужно находить.
2) По-моему, Вы не учитываете направление нормали к поверхности. А нормаль входит в определение потока:
. Для замкнутой поверхности вектор нормали обычно внешний, т.е. направлен наружу. Это приводит к тому, что положительный поток будет для вытекающей жидкости, отрицательный для втекающей.
И, когда Вы находите поток через
, например, то под интегралом должна быть проекция
не на ось
(т.е.
), а на единичную внешнюю нормаль (на этой грани это
, смотрит в сторону отрицательных
). Значит, проекция будет
. Аналогично для грани
.