Вот скрипт на Mathematica-е, с помощью которого можно изобразить кривые 4 порядка о чьих точек пересечения интересуемся
(Оффтоп)
Код:
dkx[r_, ra_,
rb_] := {{2 r[[1]], 1, 0, 0}, {r[[1]]^2 + r[[2]]^2, r[[1]], r[[2]],
1}, {ra[[1]]^2 + ra[[2]]^2, ra[[1]], ra[[2]],
1}, {rb[[1]]^2 + rb[[2]]^2, rb[[1]], rb[[2]], 1}};
dky[r_, ra_,
rb_] := {{2 r[[2]], 0, 1, 0}, {r[[1]]^2 + r[[2]]^2, r[[1]], r[[2]],
1}, {ra[[1]]^2 + ra[[2]]^2, ra[[1]], ra[[2]],
1}, {rb[[1]]^2 + rb[[2]]^2, rb[[1]], rb[[2]], 1}};
GTUVW[r_, rT_, rU_, rV_, rW_] :=
Det[dkx[r, rT, rU]] Det[dky[r, rV, rW]] -
Det[dky[r, rT, rU]] Det[dkx[r, rV, rW]];
r = {x, y};
rP = {-11, -7};
rQ = {1, -8};
rR = {4, 10};
rS = {-20, 13};
ContourPlot[{GTUVW[r, rP, rQ, rR, rS] == 0,
GTUVW[r, rQ, rR, rS, rP] == 0}, {x, -100, 1000}, {y, -450, 550},
ContourStyle -> {Red, Blue}, PlotPoints -> 50]
В примере координаты точек

,

,

и

те же самые, что и у
_Ivana - соответственно

,

,

и

. Кривые замкнуты. Область изменения

и

в примере выбрал так, чтобы были видны все две кривые. Само общее изображение выглядит так:

Вот и интересующая нас область пересечения двух крив:
без четырёхугольника 
вместе с четырёхугольником 
И напоследок вся область пересечения двух крив (синяя кривая

видна полностью):
