Ваш лаконизм мешает понять проблему.
Похоже,

у Вас был переменной интегрирования, а это должна была быть ---
в процессе вычисления объёма данного урезанного шарика --- постоянная величина. Переменной она станет потом. И в этом, видимо, ошибка.
Предлагаю Вам отдельно вывести формулу объёма шара радиуса

, от которого отрезана шапочка высотой

(или найти её в справочнике; или и то и другое). И на этом этапе у Вас никакого конуса пока НЕТ.
Потом вложить это дело в конус и тогда думать про максимум.
Мне такой подход представляется оптимальным.

превращается в

, если перед sqrt поставить палочку:
\sqrt, а то, из чего корень, заключить в фигурные скобки.