Предположим, что матрицы
и
представимы в виде
.
Возможно, это и будет критерием? Совпадение ХМ и геометрических кратностей ненулевых СЗ?
Матрицы
либо обе невырождены, либо обе вырождены.
Если обе невырождены, то также невырождены
. Тогда
, т.е.
, и
и
подобны (приёмчик, который я использовал выше в "хорошем" случае, только в обратную сторону). Значит, у
и
должны совпадать ЖНФ (с точностью до перестановки блоков), а не только геометрические кратности собственных значений.
Если
и
вырождены, у них совпадают структуры жордановых блоков, соответствующих ненулевым собственным значениям (а не только геометрические кратности). См. ту же статью H.Flanders, Elementary divisors of AB and BA, Theorem 2 — на эту теорему я сначала не обратил внимания.
Остаётся в случае вырожденных
и
рассмотреть блоки, соответствующие нулевому собственному значению (что Вы и предложили). Тоже были какие-то статьи.