получается, что он лежит на границе, то надо ли его учитывать или нет?
А какая разница? Ну наткнётесь Вы на него ещё раз при проверке границы.
Кстати, если область ограничена (а в подобных задачах это обычно так), то искать надо точки не экстремума, а лишь подозрительные на экстремум (т.е. не надо проверять достаточные условия). Ну и не забыть включить вершины в число подозрительных точек.