Методы оптимизации, исчерпывающий спуск

[Fog69]

Доброго времени суток. Никак не могу ответить на вопрос: "Доказать, что при исчерпывающем спуске $(f'(x^{k+1}),p^x)=0$ "
Во-первых, я нигде не могу найти материал по методу исчерпывающего спуска. Я понял, что это разновидность градиентного метода, но в чем отличие?
Во-вторых, мне подсказали что геометрически можно объяснить равенство скалярного произведения нулю, потому что градиент перпендикулярен линии уровня(как-то так)
Но все равно, я не очень понимаю как можно это доказать. Можно ли это сделать как-то алгебраически?

[мат-ламер]

Fog69 в сообщении #680637 писал(а):

Во-первых, я нигде не могу найти материал по методу исчерпывающего спуска. Я понял, что это разновидность градиентного метода, но в чем отличие?

Может это метод наискорейшего спуска.

Fog69 в сообщении #680637 писал(а):

Можно ли это сделать как-то алгебраически?

Попробуйте выразить производную по направлению поиска через скалярное произведение градиента и этого направления. Дальше интуиция подскажет.

[Fog69]

Т.е. просто раскрыть скалярное произведение, и т.к. косинус равен 0, то произведение будет равно 0? И все?

[мат-ламер]

Fog69 в сообщении #680833 писал(а):

т.к. косинус равен 0, то произведение будет равно 0? И все?

Логическую цепочку стройте в обратном направлении. Дано: В текущей точке производная по предыдущему направлению поиска равна нулю в силу определения самого метода наискорейшего спуска (производится одномерная оптимизация). Отсюда предыдущее направление перпендикулярно градиенту, т.е. следующему направлению.