Блин, я что-то затрудняюсь...
Можно сделать так. Перебирать углы 4-х угольника для каждого круга (всего
пар) и в каждый угол вписывать круг так, чтобы радиус был максимальный, вписывать сначала 1-й круг, а потом 2-й (только вот я не уверен, что при этом способе сумма радиусов будет всегда максимальна), но при этом надо еще умудриться определить координаты второго центра так, чтобы круги касались. Это можно численно сделать (это несложно должно быть) или подумать еще.... Потом из 16 вариантов выбрать лучший...