А чем Вам не понравился способ без интегралов, который я вам уже дважды предлагал? 
Сейчас не поленился, потратил три минуты, довел предложенную схему до ответа. Сходится.
Мне любой понравился бы: хотел бы и тем и другим, чтобы проверить и понять.
А я пробовал безинтегральным методом, но фигня какая-то получилась - Вы это видели. А может по тому, что я не могу найти нормальную информацию о тетраэдре, чтобы все по полочкам было разложено, а не все в кучу, что ничего не разберешь.
Можно начать с того, какие формулы существуют для тетраэдра.
Основную (о расположении центра масс тетраэдра на пересечении его медиан) я привел. А что еще? Кроме 

, вроде ничего и не надо. Аналог для усеченного тетраэдра (

) в принципе знать не надо. Эта формула легко выводится: из рассмотрения подобных треугольников находим 

 (высоту тетраэдра до усечения) и 

 (высоту отрезанной верхушки), а затем берем разность объемов.
Теперь заметим, что центр масс 

 исходного тетраэдра отстоит от нижнего основания на 

, a центр масс отрезанной верхушки отстоит от верхнего основания на 

.
Для решения задачки остается учесть, что точка 

 делит отрезок 

 (

 - искомый центр масс) в отношении обратно пропорциональном объемам соответствующих частей.