Это что такое - тензоры?
Ну да, на запись их координат на каком-то условном листе.
Но в таком случае каким общим словом назвать строку, столбец и т.д., осью матрицы?
«Осью» — точно будет непонятно, коннотации не те. Я бы предложил никак не называть, потому что в сложном случае это малополезно, а в простом (когда два раза транспонированный столбец даёт столбец) можно писать «строка/столбец». Если сильно всё-таки хочется придумать такое понятие, я бы предложил сначала полностью перейти на обычную индексную тензорную запись, а потом называть это «тип индекса» (ковариантный, контравариантный, ну и в том сложном случае, который физики с индексной записью вместе не употребляют, напридумывать дополнительные имена).
Вообще отличать строки от столбцов
глобально становится сложновато, если мы имеем дело с матрицами, соответствующими линейным преобразованиям, действующим из нескольких разных пространств в разные. Тогда в конце концов остаётся определённым только одно, что и было изначально: набор естественных спариваний

между пространствами (где

— скаляры). В абстрактной тензорной записи мы просто раскрасим индексы в разные цвета для

и разрешим сворачивать только пары индексов правильных цветов. В «конкретной» записи, где индексы обозначают вместе какую-то координату тензора в каком-то базисе (или наборе базисов), индекс кроме цвета пространства имеет ещё и цвет используемого в этом пространстве базиса, и эти уже при свёртках должны просто совпадать. Всё просто и потому обычно нигде явно не обозначается и не называется.