Известно, что метод главных компонент "обнуляет" выборочные взаимные корреляции. Но это только на выборке, на генеральной совокупности, остаточные взаимные корреляции всё же остаются, и это легко проверить по контрольной выборке, что я и сделал.
По моим соображениям, так как главная компонента есть линейное преобразование исходных признаков, а коэффициенты этого преобразования определяются по той же выборке, то число степеней свободы для неё меньше, чем для исходных признаков. Учитывая это, теоретическую оценку дисперсии взаимной корреляции главных компонент можно записать как
, где
- размерность исходного признакового пространства.
Согласно этому, при приближении размерности
к объёму выборки
дисперсия оценок
увеличивается. Эффективность декорреляции снижается.
Однако численные эксперименты полностью этому противоречат. В соответствии с ними, теоретическая оценка дисперсии взвамных корреляций определяется как
и вообще не зависит от размерности исходного признакового пространства.
Как всё это можно объяснить?