主成分是协方差阵谱分解后得到的各个正交的向量。

由大数定律可以得知，来自任意分布的i.i.d.样本的经验协方差阵都依概率收敛到真实的协方差阵，通常下我们做主成分分析的那个协方差阵其实是这个经验协方差阵。

所以主成分分析是有2个误差的，一个是用经验协方差阵代替真实的协方差阵带来的误差；另一个是对主成分截断后，舍弃的项带来的误差。

你所说的问题，可能是出现在用经验协方差阵近似协方差阵这个环节中。

是没有假定样本是i.i.d.的，所以牵扯出独立的问题了？因为独立样本，在正交空间的不同方向上的投影也应是独立的才对。