artey1. Чуть более подробнее про переход. Систему для перехода от старых к новым координатам Вы написали верно. Но почему же Вы считаете, что если одна координата равна нулю в старом базисе, она остается рана нулю в новом?
Если аккуратно подставить, то для угла

получается так:

,
В частности для одной из точек:

Теперь можно легко написать пределы интегрирования после перехода в новую систему координат.
2. С коэффициентом, Вы были правы, я не прав. Он равен

. Куб вполне очевиден, а вот выделенную двойку в устном счете упустил.

Приношу извинения столько раз сколько эти Ваши выкладки назвал ошибочными.