在主成分分析系列（一）概览及数据为何要中心化这篇文章中介绍了PCA算法的大概想法及数据为何要中心化，在这篇文章具体推导PCA算法的过程。

1. 首先 PCA 最原始的想法是：

• 设 $\mathbf{V}$ 为 $d$ 维 线性空间（即${\mathbb{R}}^d$），$\mathbf{W}$ 为 $\mathbf{V}$ 的 $k$ 维线性子空间（$k<d$）。在 $\mathbf{W}$ 中找到数据 D = { x 1 , x 2 , … x n } \mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \} D={x1​,x2​,…xn​} 最准确的表达。${\mathbf{x}}_{\mathbf{i}}\in {\mathbb{R}}^d,i=1,\dots ,n$

• 一组 $d$ 维向量 { e 1 , e 2 , … , e k } \{\mathbf {e_1,e_2,…,e_k}\} {e1​,e2​,…,ek​}，它形成 $\mathbf{W}$的一组正交基 。在$\mathbf{W}$空间中的任何向量都可以被表示为 ${\sum }_{i=1}^k{\alpha }_i{\mathbf{e}}_i$

• 那么向量 ${\mathbf{x}}_1$可以被表示为
  $$\sum _{i=1}^k{\alpha }_{1i}{\mathbf{e}}_i$$

• 针对向量 ${\mathbf{x}}_1$，误差为
  $$\mathbf{error}=\Vert {\mathbf{x}}_1-\sum _{i=1}^k{\alpha }_{1i}{\mathbf{e}}_i{\Vert }^2$$
  
  所以，接下来，我们要把所有的 $\mathbf{error}$ 加和，每个 ${\mathbf{x}}_{\mathbf{j}}$ 可以表示为
  $${\mathbf{x}}_{\mathbf{j}}=\sum _{i=1}^k{\alpha }_{ji}{\mathbf{e}}_i$$

那么所有的误差是：

为了求得 $\mathbf{J}$ 的最小值，我们需要求相关的偏导数，也需要限制 { e 1 , e 2 , … , e k } \{\mathbf {e_1,e_2,…,e_k}\} {e1​,e2​,…,ek​}是正交向量。

2. 让我们先化简 $\mathbf{J}$的表达：

注意，下面${{\mathbf{x}}_{\mathbf{j}}}^t$ 右上角的 t 表示向量的转置。

3. 求偏导

对 ${\alpha }_{\ast \ast }$ 求偏导， ${\alpha }_{\ast \ast }$的下标取 $ml$，即 ${\alpha }_{ml}$

因此，针对${\alpha }_{ml}$ 的最优点是

将 ${\alpha }_{ml}={{\mathbf{x}}_{\mathbf{m}}}^t{\mathbf{e}}_{\mathbf{l}}$回代 $\mathbf{J}$的表达式
得到

得到

将 $\mathbf{J}$ 表达式的后半部分 重写成下面的形式
$$({\mathbf{a}}^t\mathbf{b}{)}^2=({\mathbf{a}}^t\mathbf{b})({\mathbf{a}}^t\mathbf{b})=({\mathbf{b}}^t\mathbf{a})({\mathbf{a}}^t\mathbf{b})={\mathbf{b}}^t(\mathbf{a}{\mathbf{a}}^t)\mathbf{b}$$

其中， $\mathbf{S}$ 等于
$$\mathbf{S}=\sum _{j=1}^n{\mathbf{x}}_j{\mathbf{x}}_j^t$$
$\mathbf{S}$ 被称为 scatter 矩阵，它只不过是$n-1$乘上样本协方差矩阵 $\hat{\Sigma }$：

此时，

那么最小化 $\mathbf{J}$ 等价于最大化

4. 拉格朗日乘子法

同时，因为前文假设${\mathbf{e}}_{\mathbf{i}}$是正交单位向量， 也要限制所有
$${\mathbf{e}}_i^t{\mathbf{e}}_i=1,i=1,\dots ,n$$
使用拉格朗日乘子法，对所有的限制使用相应的 ${\lambda }_1,\dots ,{\lambda }_k$
现在，我们需要最小化新的优化函数

求关于 ${\mathbf{e}}_m$的所有的偏导数：

所以，${\lambda }_m$ 跟 ${\mathbf{e}}_m$ 分别是 scatter矩阵 $\mathbf{S}$的特征值与特征向量。

将 ${\mathbf{e}}_m$ 回代下式

而且使用推导结论： $\mathbf{S}{\mathbf{e}}_m={\lambda }_m{\mathbf{e}}_m$
可以得到

因此，为了最小化 $\mathbf{J}$，将 $\mathbf{S}$的 $k$ 个特征向量对应于 $k$ 个最大特征值作为 $\mathbf{W}$ 的基底。

• $\mathbf{S}$的特征值越大，对应特征向量方向的方差越大。注意，这个结论还没证明，在下面一篇文章给出证明，先假设这个结论是正确的。

直观地，从在主成分分析系列（一）概览及数据为何要中心化这篇文章中例子来看，

这个结果正是我们所期望的：将 $\mathbf{x}$ 投影到方差最大的 $k$ 维子空间中
这是非常直观的：将注意力限制在分散最大的方向上。

因此，PCA 可以被认为是通过旋转旧轴（因为轴需要满足过原点，相互正交地限制）来寻找新的正交基，直到找到最大方差的方向。

5.PCA用作数据逼近

令 { e 1 , e 2 , … , e d } \{\mathbf {e_1,e_2,…,e_d}\} {e1​,e2​,…,ed​}是 scatter 矩阵 $\mathbf{S}$ 的所有特征向量，并且是按照它们对应的特征值大小降序排列的。那么
不需要任何近似，任何的样本 ${\mathbf{x}}_{\mathbf{i}}$都能写成

系数 $${\alpha }_m={\mathbf{x}}_i^t{\mathbf{e}}_m$$被称作主成分(principle component )

• $k$ 越大，近似越好
• 成分是按照重要性排序的，越重要的越放在前面。
  因此 PCA 将 ${\mathbf{x}}_i$ 的前 ￥k$ 个最重要的分量作为 ${\mathbf{x}}_i$的近似值

6.最后一步

现在我们已经知道如何投影数据，最后一步是改变坐标以获得最终的 $k$维向量$\mathbf{y}$

令矩阵

则坐标变换是

在 ${\mathbf{E}}_t$ 下，特征向量成为标准基：

7. PCA算法的流程

8. PCA算法的例子

9. PCA 算法的缺点

• PCA 旨在准确表示数据，而不是数据分类。
• 然而，最大方差的方向对于分类可能是无用的
  

参考文献

Introduction to Statistical Machine Learning
Lecture 2
Anders Eriksson
School of Computer Science
University of Adelaide, Australia