Предположим, что матрицы

и

представимы в виде

.
Возможно, это и будет критерием? Совпадение ХМ и геометрических кратностей ненулевых СЗ?
Матрицы

либо обе невырождены, либо обе вырождены.
Если обе невырождены, то также невырождены

. Тогда

, т.е.

, и

и

подобны (приёмчик, который я использовал выше в "хорошем" случае, только в обратную сторону). Значит, у

и

должны совпадать ЖНФ (с точностью до перестановки блоков), а не только геометрические кратности собственных значений.
Если

и

вырождены, у них совпадают структуры жордановых блоков, соответствующих ненулевым собственным значениям (а не только геометрические кратности). См. ту же статью H.Flanders, Elementary divisors of AB and BA, Theorem 2 — на эту теорему я сначала не обратил внимания.
Остаётся в случае вырожденных

и

рассмотреть блоки, соответствующие нулевому собственному значению (что Вы и предложили). Тоже были какие-то статьи.