Может быть с эллипсом можно проделать подобную процедуру, но более изящную и найти для конкретной дуги конкретный эллипс с полуосями a и b? Скажем находим по данной дуге какой то эллипс с какими то a и b, затем каким то образом его деформируем так чтобы эти a и b стали равны заданным изначально, но при этом аппроксимация в каком то смысле, должна сохраняться, т.е. расстояния от точек дуги до трансформируемых (сдвигаемых) фокусов должно быть примерно равно известному изначально, наподобие a и b.
Примерно так я бы и поступил, не особо рассчитывая на "изящность", но довольно надёжно. Из Вашего сообщения делаю вывод, что точек достаточно, чтобы получить хоть какой-то эллипс; дуга -- хотя бы четвертинка эллипса. Далее предлагаю нелинейный (линеаризуемый) МНК с итерациями.
0. Нашли хоть какой-то эллипс, допустим по пяти точкам, включая самые крайние. Его центр --

, наклон большой оси --

.
Соответственно, измеренные точки

переводим в "каноническое положение" переносом и поворотом; получаем

.
1. По этим точкам будем искать искомый эллипс, полагая теперь, что его центр

и наклон оси

малы. Его уравнение имеет вид
![$$F(x,y)\equiv A[(x-u)\cos\xi+(y-v)\sin\xi]^2+B[-(x-u)\sin\xi+(y-v)\cos\xi]^2-1=0\eqno(1)$$ $$F(x,y)\equiv A[(x-u)\cos\xi+(y-v)\sin\xi]^2+B[-(x-u)\sin\xi+(y-v)\cos\xi]^2-1=0\eqno(1)$$](https://dxdy-03.korotkov.co.uk/f/a/f/f/aff21fd0ad172446d192efd5107669d482.png)
(

,

). Положив в (1)

решаем линейную задачу МНК для
![$$\Phi(u,v,\xi)=\sum \left[w_i\,F(x_i,y_i)\right]^2,\eqno(2)$$ $$\Phi(u,v,\xi)=\sum \left[w_i\,F(x_i,y_i)\right]^2,\eqno(2)$$](https://dxdy-02.korotkov.co.uk/f/1/6/9/169d46d9f6b0bce4734f646fbc4563b182.png)
в которой пока полагаем

.
2. Тем самым уточняем

и повторяем процедуру. Если исходные данные достаточно надёжны, получим быструю сходимость

, (

-- номер итерации).
3. Окончательное уточнение проделаем, определив для каждой точки вес

так, чтобы слагаемые в (2) были приблизительно пропорциональны расстояниям от точек до эллипса, т.е. чтобы миниизировать сумму квадратов именно отклонений, а не абстрактных значений неявной функции

. Веса как-то выразятся через радиусы кривизны эллипса в окрестности измеренной точки. Но это отложим: убедиться бы сначала, что Вас такой фокус устраивает, и что оно на Ваших данных работает.