Задача заключается в следующем:
Есть наборы коэффициентов, которые представляют собой матрицу A.
Таких наборов может быть большое количество. Их необходимо сравнивать на соответствие друг другу, то есть пробегаемся по наборам и смотрим - попадался нам уже такой или нет.
Как не крути -- а придётся сравнивать тупым перебором всех элементов матрицы.
Если я правильно понял предыдущие замечания, Вам рекомендуют установить какую-либо биекцию

на

-- например, перемежая цифры. После чего потребуется сравнивать только по одному числу. Теоретически это возможно, однако практически (с учётом конечности разрядной сетки) будет катастрофически потеряна точность. Конечно, с этим можно справиться, прибегнув к длинной арифметике, но по трудозатратам это к тому же перебору и сведётся.