Выражать углы обоих трёхгранных и вектора полярного через вектора исходного, всякие скалярные/векторные произведения не пробовали? Я — нет. Но может таки чего интересного получиться.
Получится, но так просто, что даже неинтересно.
Пусть

— внешняя нормаль к грани

(например,

);

— внешняя нормаль к грани

(например,

).
Тогда

— это угол между векторами

и

;

— это угол между векторами

и

.
Их сумма будет

.
При таком подходе можно точку

вместе со всеми «её» векторами параллельно перенести в

, чтобы в задаче остались только векторы и углы между ними, и ничего больше.