Как уже говорил, правильный должен и для подобных треугольников сработать, так что можно ничего не делать с одной вершиной каждого квадрата — и если в кандидате на решение это приходится, время сомнениям. Тоже ничего в голову не приходит, надо засесть с ручкой…
Можно попробовать такой план, если кто-то захочет: вот у нас аффинное преобразование

, и пусть мы можем по трём точкам и их образам получить какой-нибудь из эквивалентных наборов

, его задающих, в каком-то виде, который можно построить. Уравнение неподвижной точки

после этого можно бы решить:

. Можем ли мы обратить линейный оператор? Резонно ли его представить набором из некоторого базиса и его образа (а сами эти векторы — точками, получающимися при действии их на

)?
Наверняка этот план трудноподъёмный, но если подъёмный, это должно дать решение гарантированно (ничего не упустил?).
-- Чт дек 07, 2017 03:02:39 --Часть ответов, разворачивающихся натурально по мере записи вопросов, вдогонку. Во-первых,

мы свободны выбрать как угодно. Далее, у нас есть набор

, примем же

. Имеем

и имеем способ нарисовать

и

— образы базисных векторов

. Всё, мы можем применить преобразование

к чему угодно и имеем представление об отдельных

. Представляющие

образы базисных векторов получаются элементарно. Как его обратить? Просто: поменяем роли векторов в представлении местами. Задача решена, можно идти спать.
UPD. Некоторое время proof of concept (для лентяев

) будет
вот тут.