Цитата:
А разве в таких задачах можно применять критерий Сильвестра?
Можно, только аккуратно. Условие второго порядка надо проверять не на всех векторах, а только на касательных, т.е. тех, для которых

, где

-- система ограничений,

-- подозрительная точка. В Вашем же случае сама матрица Гессе получается изначально знакоопределенной и касательные вектора ни к чему (можно, конечно, их рассмотреть, но никакой дополнительной информации они не принесут). В общем случае надобно рассмотреть квадратичную форму

, где

-- касательный вектор,

-- матрица Гессе и именно эту форму исследовать на знакоопределённость. При этом подставлять лямбды. Может, это и есть тот окаймлённый Гессиан, просто я про такое не слыхал.