Узнать.
Комплексное 

 (и вообще 

) определяется так же как вещественное, только функции, входящие в это пространство, могут принимать комплексные значения (при этом аргументы у них всё равно вещественные!)
В вещественном 

 скалярное произведение такое:

а в комплексном - такое:

т.е. 

 под знаком комплексного сопряжения.
(Интегрирование здесь везде, вообще говоря, по Лебегу.
Всё это легко распространяется на случай пространств функций нескольких аргументов, типа 

 или 

, где 

 - область в 

.)
Это нужно, в частности, для того чтобы выполнялось

И, конечно, чтобы удовлетворялись аксиомы скалярного произведения - в комплексном случае они немного другие, чем в вещественном. Видно, например, что в комплексном случае скалярное произведение несимметрично: 

.
Что-то подобное имеет место уже в конечномерных комплексных пространствах. Например, скалярное произведение в 

 имеет вид

где 

, 

.
Для квантовой механики важно ещё изучить, что такое спектр линейного оператора, чем дискретный спектр отличается от непрерывного, и какими особенностями обладает спектр самосопряжённых операторов. Эта теория про спектр обычно формулируется только для комплексных пространств.
Например, в конечномерном случае спектр - это множество собственных значений оператора. В бесконечномерном сложнее.
На знание квантовой механики не претендую (только на знание функционального анализа).
Но если по теме, то довольно симпатичной кажется книжка
Иванов. Как понимать квантовую механикуЕё тут советовали в разных темах, и мне она тоже нравится, так что советую без опаски.