Выходит, что матрица Гессе в этом случае знакопеременная (неопределённая).
Не выходит. Выходит, что матрица Гессе не является отрицательно определённой.
Нашёл соответствующий критерий (для выпуклости вверх, выпуклости вниз, строгой выпуклости вверх и строгой выпуклости вниз). Для каждого из этих четырёх случаев определитель матрицы Гессе должен быть
А приведите-ка его, на всякий случай. А то меня терзают смутные сомнения...
По этому поводу я нашёл критерий Сильвестра, согласно которому матрица является неотрицательно определённой тогда и только тогда, когда все её главные миноры неотрицательны. Согласно этому критерию, один из угловых миноров моей матрицы положительный, второй - отрицательный.
Вообще, критерий Сильвестра - это про определённость матрицы, а не про полуопределённость. Но написано верно. Однако не стоит путать главные миноры с угловыми. Это не одно и то же.
Поскольку он меньше нуля, я сделал вывод о том, что глобального экстремума у этой функции нет.
Это может работать для функции двух переменных. Вообще говоря, утверждение неверное.
По существу вопроса.
1. Поинтересуйтесь, как формулируется достаточное условие экстремума. Как формулируется необходимое условие второго порядка. При невыполнении достаточного условия неплохо бы проверить необходимое условие второго порядка. Вот если оно не выполняется, тогда экстремума нет.
2. Если матрица Гессе положительно полуопределена, то функция выпукла. Если матрица Гессе положительно определена, то функция строго выпукла. Следовательно, нужно уметь находить знакоопределённость матрицы. Это можно сделать с помощью критерия Сильвестра (он всё же формулируется для угловых миноров) и с помощью главных миноров. В случае второго порядка это также несложно сделать, найдя собственные значения и посмотрев на их знаки.