Это правда, так как блочные матрицы имеют простой "геометрический" смысл: пространство разбито в прямую сумму подпространств - и на каждом "слагаемом" свой оператор, и действуют эти операторы совершенно независимо на непересекающиеся группы базисных векторов.
Ну то есть

как-то перемешивает первые

векторов,

как-то перемешивает следующие

векторов, и т.д. Чтобы обратить такое преобразование, нужно перемешать все вектора обратно.
Думаю, это рассуждение формализуемо

Хотя это настолько очевидно, что можно просто взять и перемножить и проверить, немножко посоображав, как вообще перемножаются матрицы.