Тут скорее вопрос, как определить выпуклость и вправду...
Проводите 6 прямых (через каждую пару точек).
Проверяете что никакие прямые не совпали (т.е. у вас не треугольник и не отрезок). Если три прямых совпали, то выкидываете лишнюю точку, и считаете площадь оставшегося треугольника - это ответ. Если все совпали, то ответ ноль.
Дальше считаете для скольких из этих прямых по одну сторону лежат две точки. Если таких 4 -- выпуклый. Если 3 - нет.
Походу дела определятся и диагонали по которым резать.
В первом случае (выпуклый) это те, у которых оставшиеся точки по разные стороны -- тогда режете по любой из них (это будет общая сторона треугольников сумму площадей которых надо посчитать - сумма и будет ответом).
Во втором случае (невыпуклый) у вас 3 возможных четырехугольника. Тогда считаете площади трёх треугольников. У всех трех треугольников будет общая вершина - это та точка через которую проходят три прямые такие, что две других точки лежат по разные стороны от неё. Из трех площадей отбрасываете наименьшую, две других складываете - сумма будет ответом.