Поясните ваши слова "Знак неопределён", "Седловые точки". Что вы этим хотите сказать?
Я имел ввиду, что когда мы находим стационарные точки, то нам нужно понять максимум это или минимум и там у меня не получилось это определить
У нас функция задана на окружности. То есть её область определения одномерное множество. И говорить тут о седловой точке не имеет смысла. В нашем случае имеем две возможности. В первом случае у нас будет кратный двойной корень у характеристического уравнения. В этом случае у нас функция будет постоянна на окружности. Второй случай - два различных действительных (они действительны, так как матрица симметрична) собственных значения. Большее с.з. отвечает максимуму функции, он достигается на двух противоположных векторах (которые лежат на соответствующем собственном векторе матрицы). Меньшее с.з. отвечает минимуму функции, и он достигается на других двух противоположных векторах (которые лежат на втором собственном векторе матрицы - перпендикулярном первому). В ответе приведено только значения функции (без аргумента). Надо ли находить экстремальный аргумент - не знаю (из условия непонятно). Но его лучше для простоты выражать через значение функции.
Надеюсь, что с двухмерном случаем вы разобрались
