Выражать углы обоих трёхгранных и вектора полярного через вектора исходного, всякие скалярные/векторные произведения не пробовали? Я — нет. Но может таки чего интересного получиться.
Получится, но так просто, что даже неинтересно.
Пусть
— внешняя нормаль к грани
(например,
);
— внешняя нормаль к грани
(например,
).
Тогда
— это угол между векторами
и
;
— это угол между векторами
и
.
Их сумма будет
.
При таком подходе можно точку
вместе со всеми «её» векторами параллельно перенести в
, чтобы в задаче остались только векторы и углы между ними, и ничего больше.