У Вас константа. Интеграл от плотности по всему носителю распределения есть единица. А интегрировать Вам следует по области
. Только зачем это делать, если в задаче требуется найти ответ лишь при
, и ищется он из геометрических соображений как объём пирамидки в кубе? В том же кубе проведите плоскость
повыше при
и увидите, какой объём надо вычислять, если очень хочется заполнить "???". Либо нарисуйте два найденных куска функции распределения, а кусок (многочлена третьей степени) между ними подберите из соображений непрерывности.
В
-мерном случае ответ и доказательство есть во втором томе В.Феллера, вторая или третья главы.
Кстати, ответ
неправильный. Как и
.