SiberianSemion У каждой подобной задачи есть своя специфика. Надо пробовать различные варианты спуска. Решите десяток таких задач, и уже будет понятно, как действовать. Вот моя попытка.
Будем доказывать утверждение методом от противного. Здесь напрашивается такой переход:

. Ясно, что этот переход сохраняет отсутствие точных квадратов. Вот теперь нужно подыскать "норму", по которой вторая тройка оказалась бы меньше, чем первая. Я бы попробовал в качестве таковой произведение всех чисел данной тройки. Тогда условие уменьшения нормы сведется к неравенству

. Понятно, что мы с самого начала можем считать, что среди чисел

,

,

нет равных. Тогда их можно упорядочить:

. Вот теперь самое интересное: надо понять, как отсюда вытащить нужное нам неравенство

. Как только мы это сделаем, шаг вниз (по нашей "норме") будет сделан.
Как можно доказывать неравенство

? Я бы просто выразил

через

,

(как корень квадратного уравнения; предварительно нужно определиться со знаком перед корнем из дискриминанта) и затем попробовал бы доказать, что неравенство выполняется при любых

,

. Вот такой план.