Это еще зачем же ищется объём усеченного тетраэдра. Нам же только достаточно найти параметры тетраэдра до усечения и отрезанной верхушки. Вот это мне больше всего непонятно. Вы можете проверить формулу

, я же по ней выводил, да и в теории так находится центр масс тела.
Мне естественнее пользоваться не разностью, а суммой объемов. Поместим в точку

массу

усеченного тетраэдра, а в точку

массу

отрезанной верхушки. Тогда центр масс тетраэдра до усечения будет в точке

которая делит отрезок

в отношении

. Именно для реализации этого подхода я и находил объем усеченного тетраэдра.
Ваш решение тоже выглядит правдоподобным (в детали я не вдавался: задачка уже порядком поднадоела). Но раз ответ не верен, значит, где-то есть ошибка.