Да, и касательно заглавия темы. Метод, конечно же, не "наименьшего спуска". Нам надо (при поиске минимума) спуститься как можно глубже. Он "наискорейшего спуска", когда мы, единожды определив направление, идём "по компасу" в этом направлении, не отвлекаясь на уточнение этого направления, покамест, идя так, мы не прекращаем спускаться, и лишь тогда ищем новое направление спуска. То есть "скорость" в том, чтобы идти, не отвлекаясь.
(Оффтоп)
Нечего думать, трясти надо!
Выигрыш по сравнению с методом градиента в том, что, хотя лишь первый шаг в наилучшем направлении, последующие не оптимальны, однако в большинстве случаев вычисление функции проще, чем производных её, при том, что производных надо вычислить n, так что несколько лишних шагов (вычислений функции) обходятся дешевле, чем одно вычисление градиента.
При практической реализации обычно, сделав шаг в выбранном направлении, проверяют, уменьшилась ли функция (задача, для определённости, на минимум), если да - делают ещё шаг (такой же или увеличивая его величину), если нет - уменьшают шаг до тех пор, пока не получат меньшее значение функции (если даже при очень малом шаге такого не достигается - то либо ошибка в вычислении градиента, либо функция крайне нехорошо себя ведёт, и градиентные методы, тем более использующие производные высшего порядка, для её оптимизации не годятся). Получив "вилку" из минимума между двумя большими значениями функции, уточняют его положение каким-то методом одномерной оптимизации и в этой точке опять вычисляют градиент, определяя новый маршрут для "похода по компасу".
на 
-ом шаге (**), и даже конкретный пример. Кто знает, где выводится эта формула с матрицей Гессе? Получается, что это ответ для шага, где производная равна нулю?
нескольких переменных и точка 
. Вектором 
будем обозначать направление вдоль градиента функции 
Причем 
-- скалярная функция одной переменной. Остается написать 
и найти отсюда 
который), то будет правильная.
по степеням 
, где x - точка, в которой искали градиент, g - градиент в этой точке. Оптимум по h ищут численно, используя, например, метод золотого сечения или же квадратичную оптимизацию.
. У меня при ее выводе получилось то же самое, только в числителе еще стоит 2, т.к. при разложении по формуле Тейлора возникает коэффициент 
перед вторыми производными.
, мы приравниваем производную к нулю, т.е. 
, и находим шаг. Но правильно ли я понимаю, что это не совсем точно? Ведь если разложить функцию до 3-х производных, то там возникнет уже квадратное уравнение относительно шага? ![$$\[g\left( h \right) = f\left( {{x_k} + h \cdot {e_k}} \right) = f\left( {{x_k}} \right) + h \cdot \nabla f\left( {{x_k}} \right){e_k} + \frac{1}{2}{h^2} \cdot e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k}\]$$](https://dxdy-02.korotkov.co.uk/f/5/b/4/5b4df0a0977ba10b5defee3e492f26ff82.png "$$\[g\left( h \right) = f\left( {{x_k} + h \cdot {e_k}} \right) = f\left( {{x_k}} \right) + h \cdot \nabla f\left( {{x_k}} \right){e_k} + \frac{1}{2}{h^2} \cdot e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k}\]$$")
![$$\[g'\left( h \right) = \nabla f\left( {{x_k}} \right){e_k} + h \cdot e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k} = 0 \Rightarrow \]$$](https://dxdy-04.korotkov.co.uk/f/3/c/5/3c5776a36b4913aaadf537655b3d83a582.png "$$\[g'\left( h \right) = \nabla f\left( {{x_k}} \right){e_k} + h \cdot e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k} = 0 \Rightarrow \]$$")
![$$\[h = - \frac{{\nabla f\left( {{x_k}} \right){e_k}}}{{e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k}}}\]$$](https://dxdy-02.korotkov.co.uk/f/5/a/0/5a03f9b151c4c3a715cff86b1de8ee8c82.png "$$\[h = - \frac{{\nabla f\left( {{x_k}} \right){e_k}}}{{e_k^T{\nabla ^2}f\left( {{x_k}} \right){e_k}}}\]$$")
![$$\[{h^k} = - \frac{{{\nabla ^T}f\left( {{X_k}} \right){S^k}}}{{{{\left( {{S^k}} \right)}^T}*{\nabla ^2}f\left( {{X_k}} \right)}}\]$$](https://dxdy-03.korotkov.co.uk/f/2/3/0/230b91aecd91fbdc2732316bc0fa322882.png "$$\[{h^k} = - \frac{{{\nabla ^T}f\left( {{X_k}} \right){S^k}}}{{{{\left( {{S^k}} \right)}^T}*{\nabla ^2}f\left( {{X_k}} \right)}}\]$$")