Кажется, получилось довольно красивое решение:
1. Пусть 

 - декартовы координаты; повернем оси так, чтобы новая 

 была направлена вдоль "старого" направления 

, а, новая 

 - вдоль 

.
2. Введем сферические координаты 

 в новых осях; в них ограничение 

 не включает в себя полярный угол 

: 

3. Исследуем экстремальность нашей функции по 

; в новых координатах условие равенства нулю производной по 

 не выглядит симпатично, зато в старых оно красиво:

где 

 - производная (по своему аргументу) от исходной дроби, с точностью до постоянного множителя.
4. В силу симметрии задачи, мы можем точно так же повернуть в "выгодное" положение 

 или 

, что дает для точки экстремума аналогичные равенства:


5. Перемножим равенства! Получим условие экстремума

6. В силу ограничения 

 и справедливости каждого из трех равенств 

 по отдельности, это дает всего две возможных точки экстремума (с точностью до перестановки координат) - 

 и 

. Вычисляем в них значения функции, 

 и 

, соответственно.
Надеюсь, нигде не наврал; то, что в 

 достигается именно максимум, - не доказывал.
Добавление к п.3: для получения "красивого" вида я домножил производную по 

 на 

; соответственно, уже здесь следует рассмотреть случай 

, т.е. 
