А чем Вам не понравился способ без интегралов, который я вам уже дважды предлагал?
Сейчас не поленился, потратил три минуты, довел предложенную схему до ответа. Сходится.
Мне любой понравился бы: хотел бы и тем и другим, чтобы проверить и понять.
А я пробовал безинтегральным методом, но фигня какая-то получилась - Вы это видели. А может по тому, что я не могу найти нормальную информацию о тетраэдре, чтобы все по полочкам было разложено, а не все в кучу, что ничего не разберешь.
Можно начать с того, какие формулы существуют для тетраэдра.
Основную (о расположении центра масс тетраэдра на пересечении его медиан) я привел. А что еще? Кроме

, вроде ничего и не надо. Аналог для усеченного тетраэдра (

) в принципе знать не надо. Эта формула легко выводится: из рассмотрения подобных треугольников находим

(высоту тетраэдра до усечения) и

(высоту отрезанной верхушки), а затем берем разность объемов.
Теперь заметим, что центр масс

исходного тетраэдра отстоит от нижнего основания на

, a центр масс отрезанной верхушки отстоит от верхнего основания на

.
Для решения задачки остается учесть, что точка

делит отрезок

(

- искомый центр масс) в отношении обратно пропорциональном объемам соответствующих частей.