Матрица

по определению — это функция

.
Что мешает объявить 3-мерную матрицу

как отображение

, например?
Матрица - это не просто функция, которую вы записали. Для матриц определены операции:
- сложения, умножения на число, умножения матриц, транспонирования;
- деления и состыковки (конкатенации), перестановки столбцов и строк;
- чего-то ещё, может быть.
Для "3- и

-мерных матриц" их непонятно, как обобщать. Вот что мешает.
Ну и определить сложение таких матриц и умножение на скаляр как поточечное сложение и умножение, соответственно.
Если ограничиться только операциями сложения и умножения на скаляр, то получатся банальные векторы (размерности

). Матрицы не являются векторами (точнее, не являются "просто векторами", а отдельным понятием) именно потому, что имеют другие операции и свойства.
Наиболее естественно они обобщаются понятием тензоров. При этом некоторые свойства матриц исчезают, как не слишком удобные (они вообще вызваны линейной записью формул).