Это еще зачем же ищется объём усеченного тетраэдра. Нам же только достаточно найти параметры тетраэдра до усечения и отрезанной верхушки. Вот это мне больше всего непонятно. Вы можете проверить формулу
, я же по ней выводил, да и в теории так находится центр масс тела.
Мне естественнее пользоваться не разностью, а суммой объемов. Поместим в точку
массу
усеченного тетраэдра, а в точку
массу
отрезанной верхушки. Тогда центр масс тетраэдра до усечения будет в точке
которая делит отрезок
в отношении
. Именно для реализации этого подхода я и находил объем усеченного тетраэдра.
Ваш решение тоже выглядит правдоподобным (в детали я не вдавался: задачка уже порядком поднадоела). Но раз ответ не верен, значит, где-то есть ошибка.