1) Если плотность

не задана, она считается единичной.
Запись

(в самом начале) смысла не имеет, здесь пропущена

. Я бы посчитал, что это описка (дальше

появляется), но в тетрадке у Вас тоже так было.
Итак, выносить

за знак интеграла не надо, Вы просто считаете, что это равно единице и дальше этот множитель не пишете.
2) То, что Вы находили -- это момент инерции относительно оси

(там подынтегральная функция x^2+y^2). А надо найти момент инерции относительно начала координат (там подынтегральная функция

).
3) Не вижу среди пределов интегрирования величины

. Она у Вас нигде не используется.
4) Совет. Попробуйте ввести сферические координаты, но нестандартно, чтобы

соответствовал не положительный луч

, а

. В этих координатах все поверхности становятся координатными, и интеграл очень легко находится.
Вопрос. А Вы представили, что у Вас за фигура, как она выглядит?