Это большая проблема (в смысле, не научная, а методическая), и к сожалению, ей мало внимания уделяют в учебниках. Общего решения у неё нет.
Симметричный тензор 2 ранга часто изображают эллипсоидом. См., например,
эллипсоид инерции. Такой эллипсоид показывает и направления главных осей тензора, и величины собственных чисел. Если собственные числа отрицательны - получается гиперболоид или мнимый эллипсоид.
Антисимметричный тензор 2 ранга показывает некоторое вращение в плоскости (или в плоскостях, для размерностей 4 и выше), на 90°, плюс умножение на коэффициент (для каждой плоскости свой). Можно геометрически изобразить эти плоскости, или для 3-мерного случая - вектор, перпендикулярный этой плоскости - с ним надо взять векторное произведение.
Тензор 2 ранга можно разбить на симметричную и антисимметричную часть. Кроме того, тензор 2 ранга можно представить себе как линейное преобразование пространства, то есть сочетание поворота и растяжений-сжатий в направлениях разных осей.
С тензорами высших рангов всё сложнее. Полностью симметричные тензоры высших рангов можно представлять себе как функцию на сфере, подобно тому, каким сферическим распределениям соответствуют мультипольные моменты. Полностью антисимметричные тензоры можно представлять себе как внешние формы (тж.
-формы, дифференциальные формы) - в виде площадок, ячеек, и т. д.
Вообще любой тензор можно представить в базисе мультивекторов, где мультивектор - это тензорное произведение набора векторов. Так что, представляя себе мультивектор, можно понять, как устроен базисный элемент тензоров нужного ранга, правда, надо помнить, что тензор к одному такому элементу может не сводиться.
Если пространство не имеет структуры векторного произведения (ковекторы - ковариантные векторы - не равны обычным векторам), то всё становится ещё сложнее и разнообразнее, некоторые перечисленные соотношения исчезают.