Да, когда говорят о базисе гильбертова пространства, обычно имеют в виду полную ортонормированную систему (она также будет базисом Шаудера, но обратное неверно). А матрица оператора -- это просто таблица
. Ну и в терминах этой матрицы сложно выписать условие ограниченности (хотя есть несколько достаточных условий).
Про аналогичный вопрос с базисом Гамеля я точно не знаю, но он не так интересен, т. к. он начинается со слов "можно ли взглянуть на матрицу и ...", а на матрицу в базисе Гамеля взглянуть проблематично.