Решение(вроде):
Пусть


- минор дополняющий

с нужным знаком.
Тогда надо чтоб:

Задача сформулирована топик-стартером на языке аналитической геометрии. По существу дела, задача топологическая и внутренность треугольника определяется не коэфициентами уравнений прямых, а направлением обхода контура. Сами значения

не задают направление

той прямой. Если в формуле поменять местами индексы 1 и 2 то результат получится с точностью до "наоборот". С уважением,
PS. Для прямой должно выполняться

.

- расстояние между прямой и началом координат .