Если взять 5 точек какой-то кривой, построить окружность по некоему критерию минимальности её отклонения от этих пяти точек - то эта минимальность не будет характеризовать отклонение нашей окружности от других точек исходной кривой.
Если очень хочется, можно сосчитать расстояние между функциями (возможно, параметрически заданными) и использовать его. Правда, мне кажется, что во всех практически осмысленных случаях желаемая кривая все равно будет задана некоторым набором точек, поэтому предыдущая схема также подойдет.