Честно, не знаю как проще. Если Гессиан положительно определен или положительно полуопределен для всех

, то функция будет выпукла.
Для первой будет нет, вроде как.

но вот в этом я не очень, посмотрим что еще скажут.
-- 12.07.2013, 15:38 --Вольфрам на первый говорит гиперболический параболоид, так что правильно.
Вторая выпукла -

- элиптический параболоид. Есть глобальный минимум, но мы находимся снизу, потому не пойдет.
Дальше пошли матрицы три на три

положительно определена, есть глобальный минимум, у нас

- должно быть все нормально. отрезали кусочек. Если 4 ниже вершины, то пустое всегда выпукло.
-- 12.07.2013, 15:57 --Наконец последняя имеет Гессиан

Определитель = -8, а первый минор = 12, потому невыпукла, наверно, тогда ничего нет. Это выполняется и для тех

- так, как в гессиане вообще числа.
Значит, тогда ответ только третья. Я все.