Характеристическая функция -- например:
 
(запись в стиле Матлаба; функция 

 -- это левая часть уравнения прямой 

). Или проще -- через равенство знаков трёх векторных произведений пар векторов 

, 

 и 

, где 

.
Насчёт общей формулы для интегрирования непонятно; формальный ответ: умножить на характеристическую функцию и проинтегрировать по прямоугольнику.