В общем случае Ваша кривая второго порядка(предположительно гипербола) имеет вид:
Неизвестными являются шесть коэффициентов, которые вам нужно определить по парам точек
Составим сумму квадратов отклонений f от нуля
Продифференциируем по неизвестным коэффициентам и получим систему уравнений(первое из них будет иметь вид:

Система имеет тривиальное решение - оно вам не нужно. Подставте один неизвестный параметр (например c=1 - смотрите нет ли особенности , тогда нужно взять любой другой) и решите систему. Далее Вы можите преобразованием квадратичной формы найдти оси гиперболы, если это у Вас гипербола и все необходимое.