для компьютерной программы. Я-то некоторыми способами пытался, но выражения получаются уж очень громоздкими...
Для компьютерной программы не нужны окончательные выражения -- нужна лишь цепочка достаточно простых промежуточных.
У Вас уже есть прямоугольник (малая сторона -- ребро куба, большая -- диагональ грани). Найдите нормаль к этому прямоугольнику как векторное произведение его сторон, отнормируйте этот вектор на известную половину длины большой стороны и отложите в обе стороны от середины этой стороны.