Если матрица - это прямоугольная таблица с числами , то тензор тоже можно представить как матрицу.
Э нет. Тензор - это "многомерная матрица". Его можно разложить по базису, элементы которого будут "возведены" как тензорные произведения матриц (и векторов).
Например, представьте себе куб, заполненный числами - это тензор 3-го ранга. Чтобы его заполнить числами, надо взять матрицу, и "поднять её на нужный этаж" - взять её тензорное произведение с вектором

И разумеется, так можно заполнить только один этаж, а чтобы все этажи - надо взять линейную комбинацию таких "поднятий".
Что такое тензор кривизны - это большая долгая история, которую надо тщательно анализировать. Это вообще для физиков немного где написано. У Пенроуза это написано, даже в популярных книгах.
Схематически: есть тензор Римана, аж четвёртого ранга:

Он содержит всю вообще, максимальную информацию о кривизне. Из него получаются: тензор Риччи - свёрткой

скалярная кривизна - второй свёрткой:

Кроме того, есть ещё тензор Вейля

который, по выражению Пенроуза, содержит ту информацию, которая оказывается "отброшена" при переходе от тензора Римана к тензору Риччи.
Дальше. Вот есть у нас две линии сетки координат. Тензор Римана позволяет проследить, как они будут себя вести при сдвиге вдоль координат: сходиться или расходиться, закручиваться как-то вокруг, и т. п.
Есть у нас две геодезических. Тензор Римана позволяет проследить, будут ли они сближаться или расходиться. "Закручивание" проследить нельзя: геодезических всего две.
Есть у нас пучок геодезических. Например, можно взять сферу, и из каждой её точки провести геодезическую параллельно данной. Тогда этот пучок будет переводить сферу в нечто новое. Тензор Риччи будет описывать, как будет меняться объём сферы: увеличиваться или уменьшаться. А тензор Вейля - как сфера будет растягиваться и сжиматься в разных направлениях, не считая изменения объёма.
Кроме того, если у нас есть плоскость в пространстве, то тензор Римана в проекции на эту плоскость - даст секционную кривизну в этой плоскости. Она скажет, насколько длина окружности отличается от

площадь круга - от

а сумма углов треугольника - от

Но все эти вещи - частный случай для тензоров кривизны. Вообще "визуализация" тензоров разных рангов - очень сложное и неразработанное дело. Ещё мне известно про пару-тройку образов для тензоров 2 ранга (матриц), ну тут всё просто: преобразования и квадратичные формы.