本文重点

我们前面学习了PCA算法，本文我们将学习一种新的算法，这种算法和PCA非常相似，这个算法叫做线性判别分析,简称为LDA,也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。

LDA原理

LDA的原理是，将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。

 

如图所示，我们可以看到有两个类别的数据，然后我们使用LDA算法，将所有的样本点映射到过原点的投影的直线，从图上可以清楚的看到，红色的点和蓝色的点被原点明显的分开了。因为红色的点表示一个类别，而蓝色的点表示一个类别。所以LDA很明显的将红色的点和蓝色的点分开了。

LDA和PCA的区别

LDA与前面介绍过的PCA都是常用的降维技术。

PCA主要是从协方差的角度，去找到比较好的投影方式。

LDA按照类别的划分，从标签类别的角度去找到比较好的投影方式。LDA更多的是考虑了标注，即希望投影后不同类别之间数据点的距离更大，同一类别的数据点更紧凑。

LDA的学习

LDA如何才能学习到不同类别之间数据点的距离更大&#