Не понял, о каком (на чем?) скрипте речь. Можно, например, так:
Код:
sys[x_, y_] = {{x^2 + y^2 + 5 == b^2 + 2 x - 4 y, x^2 + (12 - 2 a) x + y^2 == 2 a y + 12 a - 2 a^2 - 27}};
Reduce[
Exists[{x1, y1, x2, y2},
And @@ Flatten[{sys[x1, y1], sys[x2, y2], (x1 - x2)/(y2 - y1) == (y1 + y2)/(x1 + x2)}]],
{a, b}]
Насчет Java ничего не могу сказать, за исключением того, что в хелпе есть подробная документация:
Writing Java Programs That Use Mathematica.