Узнать.
Комплексное

(и вообще

) определяется так же как вещественное, только функции, входящие в это пространство, могут принимать комплексные значения (при этом аргументы у них всё равно вещественные!)
В вещественном

скалярное произведение такое:

а в комплексном - такое:

т.е.

под знаком комплексного сопряжения.
(Интегрирование здесь везде, вообще говоря, по Лебегу.
Всё это легко распространяется на случай пространств функций нескольких аргументов, типа

или

, где

- область в

.)
Это нужно, в частности, для того чтобы выполнялось

И, конечно, чтобы удовлетворялись аксиомы скалярного произведения - в комплексном случае они немного другие, чем в вещественном. Видно, например, что в комплексном случае скалярное произведение несимметрично:

.
Что-то подобное имеет место уже в конечномерных комплексных пространствах. Например, скалярное произведение в

имеет вид

где

,

.
Для квантовой механики важно ещё изучить, что такое спектр линейного оператора, чем дискретный спектр отличается от непрерывного, и какими особенностями обладает спектр самосопряжённых операторов. Эта теория про спектр обычно формулируется только для комплексных пространств.
Например, в конечномерном случае спектр - это множество собственных значений оператора. В бесконечномерном сложнее.
На знание квантовой механики не претендую (только на знание функционального анализа).
Но если по теме, то довольно симпатичной кажется книжка
Иванов. Как понимать квантовую механикуЕё тут советовали в разных темах, и мне она тоже нравится, так что советую без опаски.