С другой стороны, нельзя сказать, что таблицы обычно бывают квадратными.
Таблицы -- да, не обычно. Но вот матрицы -- как раз обычно именно квадратные.
На самом деле в этом контексте слово "прямоугольная" имеет два разных значения.
1). В исходном определении это эвфемизм, подчёркивающий, что заполнены все ячейки и нет объединённых.
2). При дальнейшем употреблении "прямоугольная матрица" = "неквадратная". Что, конечно, нехорошо, но типично. Скажем, какому идиоту пришло бы в голову сказать что-нибудь вроде: "предположим, у многочлена есть комплексные корни"?... -- ровно всем и приходит.