каких либо всплесков
Что вы имеете в виду?
Я думаю, надо начинать как раз с выпуклой оболочки - она даст минимальное количество вершин. А затем вырезать от границы треугольники, не содержащие других вершин. Найти глобальный минимум, скорее всего, можно только полным перебором, но достаточно хорошее решение можно найти и greedy вырезанием.