Доказать можно, например, так:
Пусть

- нильпотентная подалгебра алгебры

линейных операторов, действующих на линейном пространстве

. Во-первых, найдется ненулевой вектор

такой, что

(

). Действительно, возьмем произвольный вектор

и построим последовательность линейных подпространств

. Так как

нильпотентна, эта последовательность рано или поздно сойдется в 0, и последнее нетривиальное подпространство обращается в 0 при действии алгебры

.
Пусть

, то есть максимальное подпространство

, состоящее из векторов

, обладающих свойством

. Рассмотрим линейное пространство

, для каждого оператора

оператор

на

, действующих как

, и для всей алгебры

алгебру

. Эта алгебра также нильпотентна, для нее тоже существует ядро

и т.д. В исходном пространстве

подпространству

соответствует подпространство

. Таким образом строится последовательность

и т.д. причем

переводит следующий элемент последовательности в предыдущий. Выберем произвольные базисы в

, и матрицы операторов из

в этих базисах будут верхнетреугольными.
Какого-то специального названия или ссылки не знаю.