Характеристическая функция -- например:
(запись в стиле Матлаба; функция

-- это левая часть уравнения прямой

). Или проще -- через равенство знаков трёх векторных произведений пар векторов

,

и

, где

.
Насчёт общей формулы для интегрирования непонятно; формальный ответ: умножить на характеристическую функцию и проинтегрировать по прямоугольнику.