Изрядно попотев, довел таки свой топорный вариант до ума; получилось не очень красиво (в финале полином 6-ой степени), поэтому, прячу под кат
(решение)
1. Как и раньше, введем

; необходимо доказать, что наша

при

2. Необходимое условие экстремума по

действительно дает

, однако, такой выбор переменных не удовлетворяет необходимым условиям по

(уже здесь у меня была ошибка). Таким образом, внутри области, функция не достигает экстремума, и нас интересует только граница области.
3. В новых переменных

на границе принципиально два разных случая:
а. "угловая"

и
б. "общее положение"

, без ограничений на

Случай (а) сводится к задаче с одной переменной и дает единственную критическую точку

, что, в данном расположении, означает

.
4. Случай (б) сложнее, в нем наша функция

(подставлены значения

)
5. Здесь мне показалось проще всего возвести в квадрат обе части неравенства по отдельности и заняться анализом новой функции

, где

(эти противоестественные подстановки максимально, на мой взгляд, упрощали анализируемую функцию).
6. Эту функцию можно взять Лагранжем; в финале получается вот такое:

, где

Здесь я наконец сдался и положился на могучие плечи Вольфрама, два действительных корня:

и

. Второй корень не проходит, т.к. дает отрицательный

, а первый - то что надо; отматывая цепочку подстановок назад, получаем для него

.
В решении уверен, перепроверял несколько раз; но, конечно, это кошмар

И картинка

для

, показывающая все ее особенности:
(картинка)