По-моему, для произвольной области (выпуклой или нет - не важно) эта задача решается использованием теоремы Остроградского-Гаусса. В точку

помещаеся источник потенциального поля и рассчитывается поток через границу области. Если поток не равен 0, то точка внутри области, иначе - вне области.