Я не понял - что такое

? Вот если его выкинуть, тогда получится осмысленное:

и найти

из условия нормировки... А! Понял!
![$I_{\Delta ABC} = [X \in \Delta ABC]$ $I_{\Delta ABC} = [X \in \Delta ABC]$](https://dxdy-02.korotkov.co.uk/f/d/f/2/df2e94912f502849900beb1602d9776d82.png)
- флажок, равен 1 внутри

и равен 0 вне

.
А Вы кажется неправильно определили уравнение прямой

: не

, а

. Подставьте координаты точки

для проверки уравнения. Соответственно в 1-м двойном интеграле не

, а

, а во 2-м двойном интеграле не

, а

. Вы когда пределы интегрирования пишите - Вы их проверяйте, например так: если

и граница области интегрирования

при

- точка, то

. Ну и т.п.