Немного мыслей по аналитической стороне задачи.
Судя по всему, оптимальная фигура - в форме этакой буквы С, симметричная, и при проворачивании внешней стороной касается двух сторон квадрата, а внутренней касается двери. Если не вдоль всего пути, то хотя б около центральной части пути. Будем рассматривать все в системе координат, жестко связанной с фигурой, и чтоб ось ординат была осью симметрии. Тогда у нас квадрат каким-то образом проворачивается вокруг фигуры, и основание двери (там, где петли) движется по какой-то траектории, определяемой только внешней частью фигуры. Будем считать, что форма внешней части зафиксирована, а форма внутренней части варьируется. Из-за симметрии моржно рассматривать только половинку траектории.
Пусть у нас в системе координат фигуры основание двери движется по траектории

, где

- просто какой-то параметр. Например, в частном случае, когда внешняя сторона представляет собой дугу окружности, то основание двери будет двигаться по окружности

, но в общем случае траектория основания может оказаться какой угодно, хоть с самопересечениями (но надеюсь, без них обойдется). А угол наклона двери мы тоже запараметризуем

, так что координаты подвижный конец двери будут двигаться по траектории

. В первом приближении можно считать, что эта траектория не слишком дикая, и таким образом она же и будет задавать внутреннюю часть фигуры.
А теперь внимание вопрос. Мы хотим при заданных

найти функцию

, максимизирующую функционал

, она же площадь под графиком. Краевые условия придумаем какие-нибудь, скажем, что

. Или вместо второго краевого условия задать

. Не знаю пока что нужно, надо думать.
Так вот, я бросился в бой с шашкой наголо и пошел писать уравнения Эйлера-Лагранжа, но тут меня поджидал провал. У нас подынтегральная функция получается линейной по

, и никакого диффура не выходит, и никакой экстремальной траектории не выходит, и все определяется краевыми условиями (подсказал мне чатгпт, каюсь, давно учился, все позабыл). Что это может значить? Что нужно сразу поворачивать дверь до максимального угла, а потом двигать основание, или наоборот сначала подвигать основание до конца, а потом только повернуть дверь? Непонятно, нужна помощь.