Sup, я поняла в чем мое заблуждение - пространство С[0,1] с нормой, совпадающей с нормой в L2, не является гильбертовым (так как не полно), поэтому в нем не эквивалентны понятия полноты и замкнутости системы.
Да не в этом проблема ... гильбертово оно или нет. Я вам приводил двумерный пример в котором все гильбертово, а проблема остается. У Вас путаница с понятием разложения по базису. В примере с непрерывной функцией у которой ряд Фурье сходится к разрывному НЕТ ТАКОГО РАЗЛОЖЕНИЯ. Нет и быть не может. Мы можем написать какой-то ряд исходя из некоторых соображений относительно коэффицентов предполагаемого разложения. Тот факт, что он НЕ сходится к исходной функции и говорит о том, что такого разложения просто не существует. А что же это за ряд такой и что это за функция - его сумма? В той же книжке говорится (и правильно говорится), что это наилучшее приближение к исходной функции в пространстве, порожденном ортонормированной системой. Ну не принадлежит некая функция такому пространству. Значит никакой ряд к ней сходится не будет. Ни поточечено ни в

, никак.
А вот наилучшая аппроксимация есть. Вы наверное слыхали про теорему о перпендикуляре. Или о минимальном расстоянии от точки до замкнутого выпуклого множества в гильбертовом пространстве. Вот это оно и есть.
И вообще, на мой взгляд это все следствия неудачной терминологии: полнота, замкнутость, разложение в ряд Фурье, которое сходится к чему-то другому.
А суть проста. Пусть у нас есть гильбертово пространство

и ортонормированный базис в нем. Тогда любой элемент однозначно разлагается по этому базису по норме этого пространства. Коэффиценты можно легко и просто найти с помощью скалярного произведения.
Ежели у нас есть некое другое пространство, вложенное в данное

, то ничего особого и не происходит. Любой элемент из

, будучи и элементом из

, однозначно разлагается по базису. И соответствующий ряд сходится по норме

. Другое дело, что нам хотелось бы, чтобы он сходился "получше" в норме

. Вот и появляются теоремы, так ли это, при каких условиях и т.п. Никакой экзотики при этом не возникает. Ну а если система не образует базис? Ну тогда нечего и надеяться, что всякий элемент разлагается по этому базису. Это же очевидно. И вот тут-то как черт из табакерки и вылазит эта пресловутая полнота системы относительно пространства. Мы тут же решаем, что все будет как и прежде. Быстренько применяем формулы для коэффицентов через скалярное произведение, составляем ряд и разводим руками: ну надо же, все сделали по правилам, а результат не тот. И что? Что посеешь, то и пожнешь.
Ясно, что в данном случае термин "полная система" вводит в заблуждение. Рассмотрите внимательно тот простой двумерный пример, который я Вам приводил, и посмотрите, что означает полная система в этом случае. Вы убедитесь, что это (если так можно выразится) какая-то "не настоящая" полнота.
Рассмотрим какую-нибудь разрывную функцию

на отрезке [0,1]. И рассмотрим все непрерывные функции ей ортогональные. Среди них выберем плотное счетное подмножество и ортонормируем его. Получим систему неких непрерывных функций. Вместе с исходной функцией получится ортонормированный базис в

.
Если Вам не очень сложно, подскажите, пожалуйста, как это сделать!
Да что тут делать. Пусть есть некая функция

. Рассмотрим

замыкание в

множества всех непрерывные функций, ортогональных

. Покажем, что

(уж простите мне вольности письма). Это легко. Ну а теперь найдем ортонормированный базис в

. Поскольку непрерывные функции плотны в этом пространстве, то можно выбрать некую полную систему таких функций (замыкание линейной оболочки равно

). Ну а потом ортонормируем ее. Вот и все.