Кажется, получилось довольно красивое решение:
1. Пусть

- декартовы координаты; повернем оси так, чтобы новая

была направлена вдоль "старого" направления

, а, новая

- вдоль

.
2. Введем сферические координаты

в новых осях; в них ограничение

не включает в себя полярный угол

:

3. Исследуем экстремальность нашей функции по

; в новых координатах условие равенства нулю производной по

не выглядит симпатично, зато в старых оно красиво:

где

- производная (по своему аргументу) от исходной дроби, с точностью до постоянного множителя.
4. В силу симметрии задачи, мы можем точно так же повернуть в "выгодное" положение

или

, что дает для точки экстремума аналогичные равенства:


5. Перемножим равенства! Получим условие экстремума

6. В силу ограничения

и справедливости каждого из трех равенств

по отдельности, это дает всего две возможных точки экстремума (с точностью до перестановки координат) -

и

. Вычисляем в них значения функции,

и

, соответственно.
Надеюсь, нигде не наврал; то, что в

достигается именно максимум, - не доказывал.
Добавление к п.3: для получения "красивого" вида я домножил производную по

на

; соответственно, уже здесь следует рассмотреть случай

, т.е.
