izirekter, ваша задача относится к классу задач на экстремум. Все они решаются по одной схеме.
1. Величина (в данном случае объем параллелепипеда вписанного в конус), выражается в виде функции от одной переменной, ( в данном случае

- высота параллелепипеда).
2. Берется первая производная и приравнивается нулю.
3. Решается уравнение

и находится

4. В выражение для

подставляете

и получаете

. Все. И тысячи задач решаются по этой схеме.
==============================================
Дано:
H - высота конуса
R - радиус основания конуса
-------------------------------
РЕШЕНИЕ. Пересечем конус плоскостью, параллельной основанию на высоте

от основания. В результате пересечения плоскости и конуса получили окружность. Впишем в нее квадрат. Вычислим площадь квадрата. Половина диагонали его равна радиусу

описанной. Радиус

находим из подобия треугольников, или используя определение тангенса, что фактически одно и то же.
izirekter, аккуратно вычислите площадь квадрата у умножьте на высоту

.
Получите некую кубическую функцию

. И действуете по схеме.
PS. Корня квадратного в результате нет, он "возвелся в квадрат" при вычислении площади квадрата. Насчет просто параболы я тоже "промахнулся". Мы имеем кубическую параболу.
Полагаю, что это не "халява", вам есть что посчитать.