0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

🚀详情：机器学习强基计划(附几十种经典模型源码)

---

1 流形学习

在机器学习强基计划8-4：流形学习等度量映射Isomap算法(附Python实现)中，我们介绍了流形(manifolds)的概念，它是可以局部欧几里得空间化的一个拓扑空间，是具有拓扑结构的点集，是欧几里得空间中的曲线、曲面等概念的推广。对流形的物理意义不熟悉的同学可以回顾上一篇文章。

流形学习(manifold learning)是基于流形的机器学习算法，它假设样本数据分布在高维特征空间中的低维嵌入流形上，虽然整体十分复杂，但局部上仍具有欧氏空间的性质，因此可以在局部建立降维映射关系，然后再将局部映射关系推广到全局——局部线性构造全局非线性。流形学习旨在从观测样本中去寻找产生数据分布的内在本质规律，而非破坏结构性地降维。

2 局部线性嵌入算法

2.1 什么是局部线性嵌入？

局部线性嵌入(Locally Linear Embedding, LLE)限制样本在降维后的低维空间中的$k$近邻局部线性关系，等价于原始空间。

例如，若高维样本满足${\mathbf{x}}_i=w_{ij}{\mathbf{x}}_j+w_{ik}{\mathbf{x}}_k+w_{il}{\mathbf{x}}_l$，则低维样本同样满足${\mathbf{z}}_i=w_{ij}{\mathbf{z}}_j+w_{ik}{\mathbf{z}}_k+w_{il}{\mathbf{z}}_l$，如图所示，其中${\mathbf{w}}_i$称为样本${\mathbf{x}}_i$的重构系数。

2.2 算法原理推导

设高维样本${\mathbf{x}}_i$的$k$近邻样本集合为$Q_i^k$，则重构系数应满足

$$\underset{{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_m}{\min }\sum _{i=1}^m{\Vert {\mathbf{x}}_i-\sum _{j\in Q_i^k}{w}_{ij}{\mathbf{x}}_j\Vert }_2^2\mathrm{s}.\mathrm{t}.\sum _{j\in Q_i^k}{w}_{ij}=1\left(i=1,2,\cdots ,m\right)$$

为便于优化，将其改写为矩阵形式

$$\underset{{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_m}{\min }\sum _{i=1}^m{\mathbf{w}}_i^T{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\mathbf{w}}_i\mathrm{s}.\mathrm{t}.{\mathbf{w}}_i^T{1}_{k\times 1}=1\left(i=1,2,\cdots ,m\right)$$

其中${\mathbf{w}}_i={\left[\begin{array}{cccc}{w}_{i1}& w_{i2}& \cdots & w_{ik}\end{array}\right]}^T$，${\tilde{\mathbf{X}}}_i=\left[\begin{array}{cccc}{\mathbf{x}}_i-{\mathbf{x}}_{j_1}& {\mathbf{x}}_i-{\mathbf{x}}_{j_2}& \cdots & {\mathbf{x}}_i-{\mathbf{x}}_{j_k}\end{array}\right],j\in Q_i^k$，应用拉格朗日乘子法可得

$$L\left({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_m,\lambda \right)=\sum _{i=1}^m{\mathbf{w}}_i^T{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\mathbf{w}}_i+\lambda \left({\mathbf{w}}_i^T{1}_{k\times 1}-1\right)$$

对${\mathbf{w}}_i$求梯度，并令之为0可得

$$\begin{array}{rl}{\nabla }_{{\mathbf{w}}_i}L\left({\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_m,\lambda \right)& ={\mathbf{w}}_i^T{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\mathbf{w}}_i+\lambda \left({\mathbf{w}}_i^T{1}_{k\times 1}-1\right)\\ & =2{\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i{\mathbf{w}}_i+\lambda 1_{k\times 1}\\ & =0\\ \Rightarrow {\mathbf{w}}_i& =-\frac{1}{2}\lambda {\left({\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i\right)}^{-1}{1}_{k\times 1}\end{array}$$

考虑到${\mathbf{w}}_i^T{1}_{k\times 1}=1_{k\times 1}^T{\mathbf{w}}_i=1$，两边同时左乘$1_{k\times 1}^T$可得

$$-\frac{1}{2}\lambda =\frac{1}{1_{k\times 1}^T{\left({\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i\right)}^{-1}{1}_{k\times 1}}$$

联立消去$\lambda$可得

$${\mathbf{w}}_i=\frac{{\left({\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i\right)}^{-1}{1}_{k\times 1}}{1_{k\times 1}^T{\left({\tilde{\mathbf{X}}}_i^T{\tilde{\mathbf{X}}}_i\right)}^{-1}{1}_{k\times 1}}$$

在低维空间中需要维护这组${\mathbf{w}}_i\left(i=1,2,\cdots ,m\right)\in {\mathbb{R}}^{k\times 1}$，因此优化目标为

$$\underset{{\mathbf{z}}_1,{\mathbf{z}}_2,\cdots ,{\mathbf{z}}_m}{\min }\sum _{i=1}^m{\Vert {\mathbf{z}}_i-\sum _{j\in Q_i^k}{w}_{ij}{\mathbf{z}}_j\Vert }_2^2\mathrm{s}.\mathrm{t}.\sum _i{\mathbf{z}}_i=0,\frac{1}{m-1}\sum _i{\mathbf{z}}_i{\mathbf{z}}_i^T=\mathbf{I}$$

将重构向量增广为${\tilde{\mathbf{w}}}_i\in {\mathbb{R}}^{m\times 1}$，多余的位置为0；约束条件表示了降维样本的分布模式——样本中心化去除平移自由度、样本单位协方差去除缩放自由度。

将优化目标改为矩阵形式

$$\begin{array}{rl}\underset{\mathbf{Z}}{\min }\sum _{i=1}^m{\Vert {\mathbf{Zi}}_i-{\mathbf{Z}\tilde{\mathbf{w}}}_i\Vert }_2^2& =\underset{\mathbf{Z}}{\min }\sum _{i=1}^m{\left(\mathbf{Z}\left({\mathbf{i}}_i-{\tilde{\mathbf{w}}}_i\right)\right)}^T\mathbf{Z}\left({\mathbf{i}}_i-{\tilde{\mathbf{w}}}_i\right)\\ & =\underset{\mathbf{Z}}{\min }\mathrm{tr}\left(\mathbf{Z}\left(\mathbf{I}-\tilde{\mathbf{W}}\right){\left(\mathbf{Z}\left(\mathbf{I}-\tilde{\mathbf{W}}\right)\right)}^T\right)\\ & =\underset{\mathbf{Z}}{\min }\mathrm{tr}\left({\mathbf{ZMZ}}^T\right)\\ \mathrm{s}.\mathrm{t}.{\mathbf{ZZ}}^T& =\left(m-1\right)I\end{array}$$

采用拉格朗日乘子法

$$L\left(\mathbf{Z},\Lambda \right)=\mathrm{tr}\left({\mathbf{ZMZ}}^T\right)+\mathrm{tr}\left({\Lambda }^T\left({\mathbf{ZZ}}^T-\left(m-1\right)\mathbf{I}\right)\right)$$

令$\partial L\left(\mathbf{Z},\Lambda \right)/\partial \mathbf{Z}=2\mathbf{ZM}+2\Lambda \mathbf{Z}=0$，移项转置可得${\mathbf{MZ}}^T=-{\mathbf{Z}}^T\Lambda$。设$\mathbf{Y}={\mathbf{Z}}^T\in {\mathbb{R}}^{m\times d}$，则有$\mathbf{MY}=-\mathbf{Y}\Lambda$，这与主成分分析类似，只需对$\mathbf{M}$特征值分解，并取$d^{\prime }\ll d$个最小特征值对应的特征向量构成${\mathbf{Y}}^{\ast }\in {\mathbb{R}}^{m\times d^{\prime }}$，转置后即得低维样本${\mathbf{Z}}^{\ast }\in {\mathbb{R}}^{d^{\prime }\times m}$

必须指出，$\mathbf{M}$最小的特征值往往接近0，原因是根据权重和为一${\tilde{\mathbf{W}}}^{T}1=1$可得$\left(\mathbf{I}-{\tilde{\mathbf{W}}}^T\right)1={\left(\mathbf{I}-\tilde{\mathbf{W}}\right)}^{T}1=0$，两边同时左乘$\left(\mathbf{I}-\tilde{\mathbf{W}}\right)$有$\mathbf{M}1=0$，即此时特征向量为全1向量，无法反应数据特征，所以实际应用中会选取第$2d^{\prime }+1$个最小特征值对应的特征向量。

3 Python实现

3.1 算法流程

LLE算法流程如表所示，原理与第二节一一对应，不熟悉的同学可以往上翻

3.2 核心代码

LLE核心代码实现如下

def run(self, outDim):
     # 获得距离矩阵
     D = self.calDist()
     D[D < 0] = 0
     # 获得样本近邻索引矩阵
     DIndex = np.argsort(D, axis=1)[:, 1:self.k + 1]
     # 重构系数矩阵
     W = np.zeros([self.m, self.m])
     # 全1向量 kx1
     unitK = np.ones([self.k, 1])
     # 根据近邻样本确定重构参数
     for i in range(self.m):
         # Xi近邻距离矩阵
         Xi = self.X[:, i].reshape(self.d, 1) - self.X[:, DIndex[i, :]]
         # 求逆，附加项防止矩阵不稳定
         XiInv = np.linalg.pinv(np.dot(Xi.T, Xi) + np.eye(self.k) * self.tol)
         wi = np.dot(XiInv, unitK) / np.dot(np.dot(unitK.T , XiInv), unitK)
         for j in range(self.k):
             W[DIndex[i, j], i] = wi[j]
     # 计算M矩阵
     M = np.dot((np.eye(self.m) - W), (np.eye(self.m) - W).T)
     # 特征值分解
     eigVal, eigVec = np.linalg.eig(M)
     # 获取最小的d'个特征值对应的索引
     index = np.argsort(np.abs(eigVal))[1:outDim + 1]
     eigVec_ = eigVec[:, index]
     # 计算低维样本
     Z = eigVec_.T
     return Z

3.3 可视化

本文完整工程代码请通过下方名片联系博主获取

---

🔥 更多精彩专栏：

• 《ROS从入门到精通》
• 《Pytorch深度学习实战》
• 《机器学习强基计划》
• 《运动规划实战精讲》
• …

👇源码获取 · 技术交流 · 抱团学习 · 咨询分享 请联系👇