Внутри(или на границе) выпуклого многоугольника найти точку, такую, что сумма квадратов расстояний от неё до вершин максимальна. Будет ли она находиться на границе?
Запишите эту сумму через координаты точки и координаты вершин. Затем продифференцируйте или просто выделите полные квадраты. Затем, когда ответ станет ясен, можете попытаться его доказать в векторной (бескоординатной) форме.