Прямая, оптимальная в смысле максимума отклонений, является средней линией одного из треугольников с вершинами в данных точках. Достаточно перебрать все треугольники, все их средние линии и выбрать из них наилучшую.
Если все иксовые координаты точек различны, то оптимальная прямая единственна. В противном случае решений может оказаться бесконечно много, но среди них, во всяком случае, какая-нибудь средняя линия присутствует.
Оптимизация этого перебора -- отдельный и уже чисто алгоритмический вопрос. В частности, проверка на "альтернансность" позволяет сразу же отсеять для каждого треугольника две средние линии и оставить на подозрении лишь одну -- ту, для которой знаки отклонений в вершинах чередуются (+-+ или -+-, ни никак не ++-, --+, +-- или -++).
В общем случае, когда набор точек аппроксимируется не линейной функцией, а многочленом степени
, критерий (в случае различных иксов, конечно) выглядит так. Многочлен оптимален в смысле максимума отклонений тогда и только тогда, когда среди всех точек можно выделить поднабор из
точек, отклонения которых от графика многочлена одинаковы по модулю, имеют чередующиеся знаки и не меньше, чем отклонения для всех остальных точек. Под альтернансом понимался именно этот поднабор.