Два замечания.
1) У пирамиды 4 грани. Поток через грань

равен нулю, так как

, это да. Но поток через грань

тоже вносит вклад в общий поток и участвует в общем балансе, и его тоже нужно находить.
2) По-моему, Вы не учитываете направление нормали к поверхности. А нормаль входит в определение потока:

. Для замкнутой поверхности вектор нормали обычно внешний, т.е. направлен наружу. Это приводит к тому, что положительный поток будет для вытекающей жидкости, отрицательный для втекающей.
И, когда Вы находите поток через

, например, то под интегралом должна быть проекция

не на ось

(т.е.

), а на единичную внешнюю нормаль (на этой грани это

, смотрит в сторону отрицательных

). Значит, проекция будет

. Аналогично для грани

.