如上图所示,一共有4个属性,身高( m为单位),身高(cm),时速(每小时公里),时速(每小时里),身高的两个属性是相关的,时速的两个属性也是相关的,我们把四组具有相关性的变量转换成了两组不相关的变量,我们把转换后的这2组变量称为它的主成分。说白了,就是这两组变量能够代表这个人的身高特征和骑自行车的特征。
上述例子体现了降维。
维数少了,数据就少了。
在上述的例子中,我们可以用肉眼看出来存在相关性;在实际的数据中,用肉眼可能看不出这些数字的相关性,所以 要通过算法找出哪些特征和哪些特征是线性相关的,这就是主成分要做的事儿。
什么是投影方差最大呢?
这些点向直线作投影,会得到每个点在投影方向上对应的点。所有投影点到原点的距离的平方和最大。
换一种说法,找到一条直线,使得所有点到直线的距离的平方和最短。上图中左边更好