Я правильно понимаю, что если система имеет конечный дискретный набор базисных состояний (для оператора какой-то физической величины), то этот оператор матрица, а волновые функции -- столбцы чисел?
Тут надо разделить, как в линейной алгебре, базисы и операторы. Если система имеет конечный набор базисных состояний, то любой оператор матрица, а вектор состояния - столбец чисел. (Называть его волновой функцией в таком случае не принято, но по сути, это одно и то же.)
Если система имеет бесконечный набор дискретных базисных состояний, то оператор - бесконечная матрица, а вектор состояния - бесконечный столбец. (Это называется "представлением в дискретном спектре".)
И наконец, если система имеет бесконечный набор непрерывных базисных состояний, то вектор состояния - это функция, зависящая от непрерывной переменной (нумерующей базисные состояния), а оператор - это интегральный оператор с ядром, зависящим как функция от двух таких переменных. Формулы получаются аналогичным формулам линейной алгебры, только
(Это называется "представлением в непрерывном спектре".) Функции могут включать в себя дельта-функции и им подобные.
В общем случае, имеет место и непрерывный, и дискретный спектр, и формулы в общем случае включают в себя и суммирование, и интегрирование. Пример: состояния электрона в атоме водорода (дискретные - связанные, непрерывные - свободные).
А когда говорят "базис оператора" - это немножко о другом, это не любой базис, а именно такой, в котором оператор диагонален. (Геометрически, это такие оси, вдоль которых оператор осуществляет чистые растяжения-сжатия, без поворотов.) Тогда оператор вообще можно задать не матрицей, а всего лишь последовательностью чисел (в непрерывном случае - функцией). Но в "чужом" базисе оператор требует целой матрицы ненулевых чисел.