1. Вы зря раскрыли скобки в минорах. Лучше было бы оставить их в виде произведений одночленов. Вы явно ошиблись при расчетах: степени ненулевых элементов матрицы равны 2, так что миноры третьего порядка должны иметь степени не выше 6. А у вас откуда-то нарисовались

и

. Распишите ваши вычисления подробно.
2. НОД многочленов определяется так же, как и НОД целых чисел (а все потому, что и то, и то - евклидовы кольца). Для двух многочленов

и

назовем многочлен

со старшим коэффициентом, равным 1, их НОДом, если любой многочлен

, делящий одновременно и

, и

, делит и

. Находится НОД при помощи алгоритма Евклида, применяемого к многочленам. Как действует алгоритм Евклида знаете?
А что значит продолжая таким образом?
Пока применение этого шага не перестанет изменять матрицу, насколько я понял.
И как вообще получит можно полиномы?
Не понял вопроса. Полиномы - это то же, что и многочлены.