То есть эти единицы в матрице висеть будут, а в результате работы оператора никак не проявятся? 
Ну почему же, проявятся. Если 

 не диагонален в базисе 

, то 

 не диагонален в базисе 

. Наверно можно это усилить и до «не диагонализуем» — это уже более интересное свойство и геометрическое — но тут надо будет доказывать, что ни в каком другом базисе второй оператор тоже не диагонален.
Про единицы присоединяюсь к 
Xaositect — мало ли что там будет; даже мои формулы для одного недиагонального элемента выше не говорят о единицах, там возникает число 

, где если 

 и принять единицей в исходной матрице, то 

 ею быть совершенно не обязано. А что матрица в соответствующем базисе будет ЖНФ, когда матрица исходного оператора была в ЖНФ — совсем не очевидно и вообще не удивлюсь если неверно (но искать пример лень).