Brukvalub писал(а):
Попробуйте "вручную" поизучать функцию в окрестности стационарной точки
Дык, зачем вручную? Если кв. форма невырождена и по критерию Сильвестра не является знакоопределённой, то она знакопеременная. Это означает, что в стационарной точке нет ни минимума ни максимума.
Другое дело, если бы квадратичная форма была бы вырождена. Критерий Сильвестра в этом случае не даёт ответа даже для полуопределённости.
Можно однако воспользоваться признаком Якоби (погуглите - найдёте, если не найдёте - скажу, а пока лень, да и для данного случая не требуется), который скажет, является ли кв. форма положительно (отрицательно) полуопределённой или знакопеременной. Последний случай даст отсутствие экстремума, а в случае, к примеру, положительной полуопределённости останется вручную проверить, а есть или нет в стационарной точке минимум - максимума ведь уже точно нет, поскольку есть собственное направление, в котором функция растёт.
Добавлено спустя 3 минуты 11 секунд:
В условиях, когда речь идёт о функции более чем одного переменного, о точках перегиба говорить не приходится.