Просто подбирать? Например, 587.
Я бы рассуждал, по рабоче-крестьянски, так. Остатки от деления квадратов цифр на три - либо ноль либо единица. Цифры 0 и 1 не подходят - с ними нельзя сделать сумму 20. Тогда в искомом числе или цифры 3,6,9 (остаток от деления их квадратов на 3 равен 0) или 2,4,5,7,8 (остаток от деления их квадратов на 3 равен 1). Но квадраты цифр 3,6,9 все делятся и на 9, так что их вычеркиваем. Остаются цифры 2,4,5,7,8 Но 2 неподходит т.к. для суммы трех цифр равной 20 надо взять 2+9+9 а девятки отсеяли на предыдущем этапе. Остаются цифры-кандидаты 4,5,7,8 а остатки от деления их квадратов на 9 равны соответственно 7,7,4,1. Сумму 20 можно составить двумя способами: 4+8+8 или 5+7+8. Первое не подходит (сумма квадратов делится на 9) значит остается второе 5+7+8.
Перебор не нужен. Вернее, теперь в качестве подходящего ответа можно смело записать все комбинации из 5,7 и 8. Никакие другие не бдут удобвлетворять условию в силу вышеописанного.
Дальше чем знание таблицы умножения, а также знание того, что остаток от деления суммы на число есть остаток от деленния суммы остатков слагаемых на это число на это число, тут не нужны...