У вписанного вершины должны лежать (по одной штуке) на сторонах исходного.
Ну это уже вопрос терминологии. Вообще-то ломаная (и многоугольник в частности) называется вписанной, если её вершины лежат на границе, и более ничего от неё не требуется.
В любом случае какие бы то ни было построения здесь излишни. Вписанный треугольник заведомо не является максимальным, если ни одна из его вершин не совпадает с одной из вершин внешнего, тем самым задача сводится к простому перебору из очень небольшого количества вариантов.