【机器学习】必会降维算法之：独立成分分析（ICA）

news2024/12/28 10:32:46

独立成分分析（ICA）

1、引言
2、独立成分分析（ICA）
- 2.0 引言
- 2.1 定义
- 2.2 应用场景
- 2.3 核心原理
- 2.4 实现方式
- 2.5 算法公式
- 2.6 代码示例
3、总结

1、引言

小屌丝：鱼哥，最近胡塞武装很哇塞啊。
小鱼：你什么时候开始关注军事了？
小屌丝：这…还用关注吗？都上新闻了。
小鱼：嗯，那你知道胡塞武装为什么这么厉害吗？
小屌丝：额… 当然是光脚不怕穿鞋的。
小鱼：… 你可真是…
小屌丝：真是啥？
小鱼：一个字，自己体会
在这里插入图片描述

小屌丝：网友都这么说啊，我这是引用而已。
小鱼：… 看来，你还有很长一段距离要走啊。
小屌丝：那你倒是说说啊，
小鱼：我不说，我不说，我写我的博客了
小屌丝：唉~~ 看来你也不是很了解啊
小鱼：去…
小屌丝：说说嘛,
小鱼：别撒娇，你特喵的是个爷们。
小屌丝：你不说，我就这样。

在这里插入图片描述

2、独立成分分析（ICA）

2.0 引言

在机器学习和数据分析领域，降维是一项至关重要的技术。

通过降维，我们可以简化数据的复杂性，去除噪声，并提高模型的性能。

其中，独立成分分析（Independent Component Analysis, ICA）作为一种高级的降维算法，旨在从观测数据中分离出独立的源信号，广泛应用于信号处理、图像处理及金融数据分析等领域。

接下来，就跟着小鱼一起，详细探究独立成分分析（ICA）

2.1 定义

独立成分分析（ICA）是一种用于寻找潜在变量（或称为源信号）的统计和计算方法，这些潜在变量通过线性混合产生观察到的数据。

与主成分分析（PCA）不同，ICA 强调信号的统计独立性，而不仅仅是去相关性。

具体来说，ICA 希望从混合信号中提取出尽可能独立且非高斯的信号。

2.2 应用场景

ICA 在多个领域有广泛的应用，以下是一些典型的应用场景：

信号处理：例如，从混杂的音频信号中分离出单独的声音源，这在「鸡尾酒会问题」中尤为经典。
图像处理：用于提取图像的基本构建块，应用于人脸识别和特征提取。
生物医学信号处理：如从脑电图（EEG）中分离独立的脑信号及去除噪声。
金融：分析金融时间序列，分离出独立的市场因素，为投资决策提供支持。

2.3 核心原理

ICA 的核心思想是将观测到的多维信号表示为多个独立源信号的线性组合。

假设我们有观测信号 $\mathbf{X} )$ ，并且这些信号是未知的独立信号 $\mathbf{S} )$ 的线性组合：

$\mathbf{X} = \mathbf{A} \mathbf{S} ]$

其中， $\mathbf{A} )$ 是一个未知的混合矩阵，目标是通过对 $(\mathbf{X})$ 进行操作，分离出独立的信号 $(\mathbf{S})$ 。

2.4 实现方式

ICA 有多种实现方式，最常见的算法是 FastICA。

FastICA 通过最大化信号的非高斯性来估计独立成分，使用定量标准如 negentropy（负熵）来进行优化。

2.5 算法公式

FastICA 的迭代计算方法可以通过以下公式表示：

中心化：移除数据的均值，使数据零均值化。
白化：将观测信号进行线性变换，使其成为白噪声（各维度独立且方差为1）。
迭代求解独立成分：使用如负熵等准则进行非高斯性最大化。

具体的迭代公式如下： $\mathbf{w}_{+} = \mathbb{E}[\mathbf{X}g(\mathbf{w}^T \mathbf{X})] - \mathbb{E}[g'(\mathbf{w}^T \mathbf{X})] \mathbf{w} ]$

其中，

$(g)$ 通常选择为非线性函数，如 $\tanh(u) )$ 。
$\mathbf{w} )$ 是权重向量，通过迭代求解得到。

2.6 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-05-30
# @Author : Carl_DJ

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import FastICA

# 生成随机信号
np.random.seed(0)
n_samples = 2000
time = np.linspace(0, 8, n_samples)

s1 = np.sin(2 * time)  # 正弦波
s2 = np.sign(np.sin(3 * time))  # 方波
s3 = np.cumsum(np.random.randn(n_samples))  # 随机步进信号

S = np.c_[s1, s2, s3]
S += 0.2 * np.random.normal(size=S.shape)  # 加入噪声
S /= S.std(axis=0)  # 标准化

# 混合信号
A = np.array([[1, 1, 1], [0.5, 2, 1.0], [1.5, 1.0, 2.0]])  # 混合矩阵
X = np.dot(S, A.T)  # 混合后的信号

# 使用FastICA还原信号
ica = FastICA(n_components=3)
S_ = ica.fit_transform(X)  # 重建信号
A_ = ica.mixing_  # 估计的混合矩阵

# 我们可以看到A_的乘法近似为单位矩阵，表明信号已经被很好地分离
assert np.allclose(X, np.dot(S_, A_.T) + ica.mean_)

# 绘图
plt.figure()

models = [X, S, S_]
names = ['混合信号 (观察信号)',
         '源信号 (实际信号)',
         '重建信号 (ICA)']
colors = ['red', 'steelblue', 'orange']

for i, (model, name) in enumerate(zip(models, names), 1):
    plt.subplot(3, 1, i)
    plt.title(name)
    for sig, color in zip(model.T, colors):
        plt.plot(sig, color=color)

plt.tight_layout()
plt.show()