Xoma,
Вы пишете что-то невероятно сложное:
Код:
M=$\int$ $\int_{G}^{}$$\frac{(\rho_0)*\sqrt 2}{a}*$\sqrt{x^2+y^2}$=$\frac({\rho_0}{a})*(\sqrt 2)$*[$$\int_{0}^{\pi /4} d\varphi$$ $\int_{0}^{a/cos(\varphi)}r^2 dr$+..........]
А надо --- один доллар в начале формулы, другой в конце:
Код:
$M=\int\int_G\frac{\rho_0\sqrt 2}{a}\sqrt{x^2+y^2}dS=\frac{\rho_0}{a}\sqrt 2\int_{0}^{\pi /4} d\varphi\int_0^{a/cos\varphi}r^2 dr$

(и умножить на 2).
Итого с Вас всего два доллара.
От нуля до

, видимо потому, что пол-квадрата только считаем, до диагонили (на второй половинке уже не будет

).