У Вас константа. Интеграл от плотности по всему носителю распределения есть единица. А интегрировать Вам следует по области

. Только зачем это делать, если в задаче требуется найти ответ лишь при

, и ищется он из геометрических соображений как объём пирамидки в кубе? В том же кубе проведите плоскость

повыше при

и увидите, какой объём надо вычислять, если очень хочется заполнить "???". Либо нарисуйте два найденных куска функции распределения, а кусок (многочлена третьей степени) между ними подберите из соображений непрерывности.
В

-мерном случае ответ и доказательство есть во втором томе В.Феллера, вторая или третья главы.
Кстати, ответ

неправильный. Как и

.