Т.е., если я правильно поняла, то надо решить систему из 6 уравнений (составленную с использованием только трех точек, не лежащих на одной прямой), в которой будет 6 неизвестных - матрица А (2 на 2) и вектор b. И в элементы этой матрицы и вектора уже будут заложены и сдвиг, и масштабирование, и поворот?
да, заложены уже будут. Однако на всякий случай: кроме масштабирований и поворотов бывают ещё и перекосы, которые, вообще говоря, не сводятся к масштабированиям и поворотам. (И которые, конечно, тоже будут учтены.)