Кажется, получилось довольно красивое решение:
1. Пусть
![$x, y, z$ $x, y, z$](https://dxdy-03.korotkov.co.uk/f/6/e/c/6ecf10ed1c08ba92db30119ef192228f82.png)
- декартовы координаты; повернем оси так, чтобы новая
![$Oz'$ $Oz'$](https://dxdy-01.korotkov.co.uk/f/0/c/7/0c7050d8bc6663156757450f62bbc5fc82.png)
была направлена вдоль "старого" направления
![$(1,1,1)$ $(1,1,1)$](https://dxdy-04.korotkov.co.uk/f/f/5/1/f5171c80a78f9bd3672beda03930dd6d82.png)
, а, новая
![$Ox'$ $Ox'$](https://dxdy-02.korotkov.co.uk/f/1/5/7/1575a40657e8c7d109598d3357b29f9a82.png)
- вдоль
![$(1,-1,0)$ $(1,-1,0)$](https://dxdy-01.korotkov.co.uk/f/c/e/6/ce6e2ac238a6ab7c846b6ed81709d13e82.png)
.
2. Введем сферические координаты
![$\rho, \theta, \varphi$ $\rho, \theta, \varphi$](https://dxdy-03.korotkov.co.uk/f/6/1/b/61bcc617f477997149911fa56d63f62882.png)
в новых осях; в них ограничение
![$xyz=1$ $xyz=1$](https://dxdy-02.korotkov.co.uk/f/d/9/9/d99f90bc4b07df7b9e00b3c081920b8082.png)
не включает в себя полярный угол
![$\varphi$ $\varphi$](https://dxdy-01.korotkov.co.uk/f/4/1/7/417a5301693b60807fa658e5ef9f953582.png)
:
![$\rho^3 \cos \theta (5 \cos^2 \theta - 3) = 6 \sqrt 3$ $\rho^3 \cos \theta (5 \cos^2 \theta - 3) = 6 \sqrt 3$](https://dxdy-03.korotkov.co.uk/f/a/8/5/a85a585c7303f716727caf48d3d0fa6f82.png)
3. Исследуем экстремальность нашей функции по
![$\varphi$ $\varphi$](https://dxdy-01.korotkov.co.uk/f/4/1/7/417a5301693b60807fa658e5ef9f953582.png)
; в новых координатах условие равенства нулю производной по
![$\varphi$ $\varphi$](https://dxdy-01.korotkov.co.uk/f/4/1/7/417a5301693b60807fa658e5ef9f953582.png)
не выглядит симпатично, зато в старых оно красиво:
![$(y-z)f(x)=(x-z)f(y)$ $(y-z)f(x)=(x-z)f(y)$](https://dxdy-02.korotkov.co.uk/f/d/6/0/d604e04d3ef1b86800ad7d1b94bffd9f82.png)
где
![$f(x)= \frac {x^2 - 2x} {(x^2 - x +1)^2}$ $f(x)= \frac {x^2 - 2x} {(x^2 - x +1)^2}$](https://dxdy-01.korotkov.co.uk/f/8/c/2/8c21647dfff3637f5eaf08b82dfb89a282.png)
- производная (по своему аргументу) от исходной дроби, с точностью до постоянного множителя.
4. В силу симметрии задачи, мы можем точно так же повернуть в "выгодное" положение
![$Ox$ $Ox$](https://dxdy-01.korotkov.co.uk/f/0/6/f/06f60c13ab7e44325ed0b17b411562f982.png)
или
![$Oy$ $Oy$](https://dxdy-02.korotkov.co.uk/f/9/7/5/975c715a94d10588acb85bf1f3e79be882.png)
, что дает для точки экстремума аналогичные равенства:
![$(x-y)f(z)=(z-y)f(x)$ $(x-y)f(z)=(z-y)f(x)$](https://dxdy-02.korotkov.co.uk/f/9/7/2/972fd81be25ba47930fa752bea5a892e82.png)
![$(z-x)f(y)=(y-x)f(z)$ $(z-x)f(y)=(y-x)f(z)$](https://dxdy-04.korotkov.co.uk/f/b/5/5/b5503fdc5658abdd73ca48480ce64f0e82.png)
5. Перемножим равенства! Получим условие экстремума
![$(x-y)(y-z)(z-x)f(x)f(y)f(z)=0$ $(x-y)(y-z)(z-x)f(x)f(y)f(z)=0$](https://dxdy-03.korotkov.co.uk/f/e/3/4/e34f70c38d80df248580ad0ac723d85c82.png)
6. В силу ограничения
![$xyz=1$ $xyz=1$](https://dxdy-02.korotkov.co.uk/f/d/9/9/d99f90bc4b07df7b9e00b3c081920b8082.png)
и справедливости каждого из трех равенств
![$(3,4)$ $(3,4)$](https://dxdy-04.korotkov.co.uk/f/f/7/6/f761d476f186c4ad3cc15c81cee8c7d082.png)
по отдельности, это дает всего две возможных точки экстремума (с точностью до перестановки координат) -
![$(2,2,1/4)$ $(2,2,1/4)$](https://dxdy-03.korotkov.co.uk/f/2/7/5/2756243a1bd6f9a4d92cbe7b4fc0814782.png)
и
![$(1,1,1)$ $(1,1,1)$](https://dxdy-04.korotkov.co.uk/f/f/5/1/f5171c80a78f9bd3672beda03930dd6d82.png)
. Вычисляем в них значения функции,
![$-10/39$ $-10/39$](https://dxdy-01.korotkov.co.uk/f/c/7/2/c72f99b5b09e76d737d8cbe26f3e661f82.png)
и
![$0$ $0$](https://dxdy-03.korotkov.co.uk/f/2/9/6/29632a9bf827ce0200454dd32fc3be8282.png)
, соответственно.
Надеюсь, нигде не наврал; то, что в
![$(1,1,1)$ $(1,1,1)$](https://dxdy-04.korotkov.co.uk/f/f/5/1/f5171c80a78f9bd3672beda03930dd6d82.png)
достигается именно максимум, - не доказывал.
Добавление к п.3: для получения "красивого" вида я домножил производную по
![$\varphi$ $\varphi$](https://dxdy-01.korotkov.co.uk/f/4/1/7/417a5301693b60807fa658e5ef9f953582.png)
на
![$\rho \sin \theta$ $\rho \sin \theta$](https://dxdy-04.korotkov.co.uk/f/7/c/9/7c9b9e2def53cd63fac78eaec2dc90b082.png)
; соответственно, уже здесь следует рассмотреть случай
![$\sin \theta=0$ $\sin \theta=0$](https://dxdy-04.korotkov.co.uk/f/b/a/f/baf2884390884fa7f70736864c2bf67d82.png)
, т.е.
![$x=y=z=1$ $x=y=z=1$](https://dxdy-01.korotkov.co.uk/f/c/f/f/cffb354f99dd97b20106430b8947193b82.png)