【机器学习】必会降维算法之：随机投影（Random Projection）

news2024/11/26 0:40:02

随机投影（Random Projection）

1、引言
2、随机投影（Random Projection）
- 2.1 定义
- 2.2 核心原理
- 2.3 应用场景
- 2.4 实现方式
- 2.5 算法公式
- 2.6 代码示例
3、总结

1、引言

小屌丝：鱼哥，降维算法还没讲完呢。
小鱼：嗯… 应该是没讲完。
小屌丝：那你是不是应该继续啊
小鱼：… 继续，整。
小屌丝：今天咋这么痛快。
小鱼：嘿嘿，不能说的秘密。
小屌丝：哦… 嘿嘿~ ~ 懂了
在这里插入图片描述

2、随机投影（Random Projection）

2.1 定义

随机投影是一种降维技术，它通过将高维数据投射到较低维度的随机子空间中来实现数据降维。

与 PCA 等传统方法不同，随机投影不需要对数据进行复杂的数学运算，而是基于随机矩阵理论，利用随机性来近似保留原始数据的距离和结构。

2.2 核心原理

随机投影的核心原理是使用一个随机生成的矩阵将原始数据投影到一个较低维度的空间。这个随机矩阵的行数是目标维度，列数是原始数据的维度。通过乘以这个矩阵，原始数据的每一行都会映射到一个较短的向量上。

随机投影的理论依据是Johnson-Lindenstrauss引理（JL引理），它指出对于任意一组点，在保持它们之间距离几乎不变的前提下，可以将它们从高维空间映射到低维空间。

2.3 应用场景

随机投影在多个领域都有广泛的应用，包括但不限于：

数据可视化：将高维数据投影到二维或三维空间，便于观察和分析。
数据压缩：减少数据存储和传输的开销。
特征选择：通过降维去除冗余特征，提高模型性能。
加速机器学习算法：降低输入数据的维度，减少计算成本。

2.4 实现方式

随机投影的实现方式主要包括以下几个步骤：

生成随机投影矩阵：生成一个 $\times k )$ 的随机矩阵 $\mathbf{R} )$ ，其中每个元素服从均值为零、方差为 $\frac{1}{k} )$ 的正态分布。
投影数据：将高维数据矩阵 $\mathbf{X} )$ 与随机投影矩阵 $\mathbf{R} )$ 相乘，得到降维后的数据矩阵 $\mathbf{X'} )$ 。

2.5 算法公式

核心公式为：

$\mathbf{X'} = \mathbf{X} \mathbf{R} ]$

其中：

$\mathbf{X} )$ 是 $\times d )$ 的高维数据矩阵。
$\mathbf{R} )$ 是 $\times k )$ 的随机投影矩阵。
$\mathbf{X'} )$ 是 $\times k )$ 的降维后数据矩阵。

2.6 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-06-05
# @Author : Carl_DJ


import numpy as np
from sklearn.random_projection import GaussianRandomProjection
import matplotlib.pyplot as plt

# 生成一个高维随机数据集
np.random.seed(0)
X = np.random.randn(100, 50)

# 使用 GaussianRandomProjection 进行降维
n_components = 10  # 降维目标维数
rp = GaussianRandomProjection(n_components=n_components)
X_projected = rp.fit_transform(X)

# 显示降维前后的数据维度
print("原始数据维度:", X.shape)
print("降维后数据维度:", X_projected.shape)

# 可视化降维后的数据（投影到2D平面）
plt.figure(figsize=(8, 6))
plt.scatter(X_projected[:, 0], X_projected[:, 1], c='blue', marker='o')
plt.title('Random Projection to 2D')
plt.xlabel('Component 1')
plt.ylabel('Component 2')
plt.show()