Примерно вот так:
Далее как описано выше. Сдвигаем рёбра в сторону точек, причём, делая это параллельным переносом. У нас получится "оптимальный" треугольник. Поскольку он равносторонний, то вокруг него можно описать окружность очень просто и сразу найти центр. Гуляя от центра окружности, можно и её постепенно сжимать, находя самые периферийные точки и корректируя радиус и положение новой окружности. Хотя, конечно, окружность проще сразу для квадрата строить. Сейчас подумал, не пойму как её сжимать...
Считаем далее площадь треугольника. Потом процедура повторяется: поворачиваем квадрат (если точки вылезли из него, то увеличиваем его), на основе его -- равносторонний треугольник, уменьшаем треугольник, находим площадь.
После всего узнаём когда была самая минимальная площадь -- треугольник найден.
Почему именно равносторонний? Это вопрос к математикам, пусть докажут.
P.S. Есть способ численного доказательства: набросать случайных треугольников на точки и сжать их все, посчитать площади и сравнить с равносторонним случаем. Чем больше будет выборка, тем "точнее" доказательство.