Но что Вы скажите про пример: возьмем квадрат, и две его противоположные вершины чуток сместим наружу. Исходный квадрат, вроде, и даст максимум, но только две его вершины будут на границе...
Вы правы. У меня получились такие условия: или квадрат на диаметре (диаметр здесь - длиннейший вписанный отрезок) или три точки на границе.
Первый случай вообще дискретный - надо перебирать конечное число возможностей.
Второй сложнее - имеем площадь как непрерывную кусочно гладкую функцию от направления стороны прямоугольника. Требуется построить все отрезки гладкости, на каждом надо найти максимум. И это ещё дырявое описание.
-- 21.01.2017, 16:28 --Поспешишь - людей насмешишь. Не квадрат на диаметре, а квадраты на всех опорных парах (их линейное число). Или квадраты на всех диагоналях (их квадратичное число).