Еще несколько уточнений.
Верный признак для отсева

(предполагается

).
Это тоже частный случай. Полный критерий для отсева нерезультативных операций таков:

В случае равенства получаем

и тривиальный кирпич с двумя нулевыми ребрами. В случае неравенства имеем отрицательное значение под радикалом в выражении для

. Хорошо бы мне выложить это сразу, но к сожалению простые вещи приходят в голову в последнюю очередь.
... в подсистему

Не теряя общности, её решение можно записать тождествами

На самом деле решение содержит бОльшее количество переменных, но существует пропорциональное решение, соответствующее данной записи. Это можно доказать.
максимально возможный квадрат
А почему именно максимально возможный?
Тут самое интересное. Как-то не обратил внимания сначала, ведь это задача о конгруэнтных числах. Только наоборот. Обозначим функцию

В процессе факторизации получили, к примеру,

Длина катетов пифагоровых треугольников выражается, как известно, формулами

, площадь –

Результатом деления получаем некоторое конгруэнтное число, в данном случае

, и треугольник с катетами

, гипотенузой

и площадью

. Сколько ни помню, в литературе всегда обсуждается вопрос "является ли данное число конгруэнтным" и никогда не говорится о том, как получить рациональные катеты треугольника заданной площади (если является), сколько таких треугольников существует и конечно ли хотя бы их число. Ясно, что

конгруэнтно, но есть еще треугольник той же площади со сторонами

, а может быть и другие? Если бы существовал алгоритм, это бы было то что нужно, но подозреваю всё-таки перебор. Значит должны быть списки или таблицы, а они денег стоят. Подрядившись на такую работу, можно совместить полезное с приятным (типа не догоню, так согреюсь). К тому и клоню )