主成分分析/因子分析与线性映射

news2024/11/17 21:39:45

数据降维，包括主成分分析PCA和因子分析FA，都离不开特征值和特征向量。今天先不细说特征值和特征向量，先说一说理解数据降维的一个关键概念，线性映射。

看到csdn里很多文章讲特征值与特征向量时，都会先讲讲线性映射，都是按照教科书的思路来讲解的。这里，我换一个角度，给想理解这个概念的朋友一点启发。

希望你读完本文，能够理解这个问题：

$\begin{pmatrix} 4 &3 \\ \begin{matrix} \\ \end{matrix} 2&1 \end{pmatrix}\begin{pmatrix} x_{1}\\ y_{1} \end{pmatrix}=\begin{pmatrix} x_{2}\\ y_{2} \end{pmatrix}$

它到底是怎么在坐标系里线性变换的？

首先，先说一下旋转通过矩阵是怎么反映的？

在上面这个图里，点A的坐标是（x1, y1），现在将OA顺时针旋转 e 度角，点A被旋转到点A'(x2, y2)，请问这时A'的坐标 (x2, y2) 是多少？

我把答案直接给出来，愿意证明的，用中学的三角形知识就可以解出来。旋转后的A‘的坐标变成（ x1*cos(e)-y1*sin(e), x1*sin(e)+y1*cos(e) ）。它用矩阵形式来表示就是：

$\begin{pmatrix} cos\theta & -sin\theta \\ cos\theta& sin\theta \end{pmatrix}\begin{pmatrix} x_{1}\\ y_{1} \end{pmatrix}=\begin{pmatrix} x_{2}\\ y_{2} \end{pmatrix}$

所以说，一个方阵乘以这个A点坐标向量，得到的右边的向量，就是旋转后A’点的坐标向量。

讲完旋转，我们再来讲讲伸缩。

在上面这个图里，点A的坐标是（x1, y1），现在将点A的横坐标变为a倍，将点A的纵坐标变为b倍，得到点A'(x2, y2)。请问这时A'的坐标 (x2, y2) 是多少？

这个问题的答案就比较好回答了，A'的坐标是（a*x1, b*y1）。它用矩阵形式来表示就是：

$\begin{pmatrix} a & 0 \\ 0 & b \end{pmatrix}\begin{pmatrix} x_{1}\\ y_{1} \end{pmatrix}=\begin{pmatrix} x_{2}\\ y_{2} \end{pmatrix}$

所以说，一个对角阵乘以这个A点坐标向量，得到的右边的向量，就是伸缩后A’点的坐标向量。

明白了这个两个道理后，我想你应该明白了开头的问题，一个方阵乘以一个向量后得到的向量，为什么是一系列的线性转换的操作了。

比如，我们对上面那个点A先旋转，再伸缩，那么用矩阵形式表示就是：

$\begin{pmatrix} acos\theta & -asin\theta \\ bsin\theta & bcos\theta \end{pmatrix}\begin{pmatrix} x_{1}\\ y_{1} \end{pmatrix}=\begin{pmatrix} x_{2}\\ y_{2} \end{pmatrix}$