Тут важно не перепутать

с

, если вдруг по недосмотру.

при

(что можно также записать как

) --- вехнетреугольная, upper triangular;

при

--- верхнетреугольная с нулевой диагональю, upper triangular with zero diagonal;

при

--- гессенбергова, Hessenberg, или можно уточнить "верхне-гессенбергова", upper Hessenberg (я такого термина никогда не видел, но думаю, что он вполне законен).
Если знак неравенства меняется --- нижнетреугольная, lower triangular.
Если это на самом деле матрица размера

, разбитая на блоки

, а индексы относятся к блокам --- то добавляем "блочно", скажем блочно-верхнетреугольная, или блочно-гессенбергова (block Hessenberg matrix).