Непонятно почему из-под интеграла вылезла производная, должно же быть наоборот?
В книге опечатка. Под интегралом вместо функции

должна быть её вторая производная (гессиан) -

. Ещё одна опечатка - после первого неравенства должен быть множитель

.
Возможно также для градиента вместо штриха лучше использовать обозначение

.