SVM - 径向基函数核 Radial Basis Function Kernel，简称RBF核或者高斯核

flyfish

径向基函数核（Radial Basis Function Kernel，简称RBF核），也称为高斯核，是一种常用的核函数，用于支持向量机（SVM）和其他机器学习算法。它是基于数据点之间的距离来计算相似性的一种非线性核函数。
RBF核的数学表达式为：
$$K(x,x^{\prime })=\exp \left(-\gamma \Vert x-x^{\prime }{\Vert }^2\right)$$
其中：

• $K(x,x^{\prime })$ 是两个数据点 $x$ 和 $x^{\prime }$ 之间的核函数值。

• $\gamma$ 是一个可调参数，控制RBF核的宽度。

• $\Vert x-x^{\prime }\Vert$ 是两个数据点之间的欧氏距离。

RBF核的主要特性：

1. 非线性变换 ：RBF核可以将输入空间非线性地映射到高维特征空间，使得在原始空间中不可线性分离的数据在高维空间中可线性分离。

2. 局部性 ：RBF核在原始空间中的距离较近的点在高维特征空间中也会距离较近，即RBF核具有局部敏感性。

3. 参数可调 ：参数 $\gamma$ 控制RBF核的宽度，较大的 $\gamma$ 值使得核函数对距离更敏感，较小的 $\gamma$ 值使得核函数对距离不太敏感。

生成100个二维数据点，并使用C=0.1和C=10的两个不同SVM模型进行训练。C较小时（C=0.1），模型的决策边界更宽松，对错误分类点有更高的容忍度；而C较大时（C=10），决策边界更严格，模型更严格地要求正确分类，容易过拟合

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_circles

# 生成非线性可分的二维数据点
X, y = make_circles(n_samples=100, factor=0.3, noise=0.1)

# 创建两个SVM模型，分别使用不同的C值和RBF核
C_values = [0.1, 10]
models = [svm.SVC(kernel='rbf', C=C, gamma='auto') for C in C_values]

# 训练模型
for model in models:
    model.fit(X, y)

# 创建绘图
fig, axes = plt.subplots(1, 2, figsize=(12, 5))

for ax, model, C in zip(axes, models, C_values):
    ax.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')
    ax.set_title(f'SVM with RBF Kernel and C={C}')
    
    # 绘制决策边界和支持向量
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()
    xx = np.linspace(xlim[0], xlim[1], 500)
    yy = np.linspace(ylim[0], ylim[1], 500)
    YY, XX = np.meshgrid(yy, xx)
    xy = np.vstack([XX.ravel(), YY.ravel()]).T
    Z = model.decision_function(xy).reshape(XX.shape)
    
    ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.scatter(model.support_vectors_[:, 0], model.support_vectors_[:, 1], s=100,
               linewidth=1, facecolors='none', edgecolors='k')

plt.show()

使用了make_moons函数生成非线性可分的二维数据点（两个半月形），并使用RBF核的SVM模型进行分类。RBF核的SVM模型能够处理复杂的非线性分类问题，并且决策边界是非线性的。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_moons

# 生成非线性可分的二维数据点（两个半月形）
X, y = make_moons(n_samples=100, noise=0.1, random_state=42)

# 创建并训练SVM模型，使用RBF核
model = svm.SVC(kernel='rbf', C=1, gamma=1)
model.fit(X, y)

# 创建绘图
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')
plt.title('SVM with RBF Kernel')

# 绘制决策边界和支持向量
xlim = plt.gca().get_xlim()
ylim = plt.gca().get_ylim()
xx = np.linspace(xlim[0], xlim[1], 500)
yy = np.linspace(ylim[0], ylim[1], 500)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = model.decision_function(xy).reshape(XX.shape)

plt.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
plt.scatter(model.support_vectors_[:, 0], model.support_vectors_[:, 1], s=100, linewidth=1, facecolors='none', edgecolors='k')
plt.show()

二维数据点映射到三维空间

原始的二维平面中是不可线性分离的。使用RBF核将其映射到三维空间，从而使数据变得可线性分离。即RBF核可以将输入空间非线性地映射到高维特征空间，使得在原始空间中不可线性分离的数据在高维空间中可线性分离。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.datasets import make_circles
from sklearn.svm import SVC

# 生成非线性可分的二维数据点
X, y = make_circles(n_samples=100, factor=0.3, noise=0.1, random_state=0)

# 定义RBF核函数
def rbf_kernel(X, Y, gamma=1.0):
    K = np.exp(-gamma * np.sum((X[:, np.newaxis] - Y[np.newaxis, :])**2, axis=2))
    return K

# 将二维数据点映射到三维空间
gamma = 0.5
X_rbf = rbf_kernel(X, X, gamma=gamma)

# 使用RBF核的SVM进行训练
model = SVC(kernel='rbf', C=1, gamma=gamma)
model.fit(X, y)

# 绘制原始二维数据点
fig = plt.figure(figsize=(12, 6))
ax = fig.add_subplot(121)
ax.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')
ax.set_title('Original 2D Data')

# 绘制映射到三维空间的数据点
ax = fig.add_subplot(122, projection='3d')
ax.scatter(X_rbf[:, 0], X_rbf[:, 1], X_rbf[:, 2], c=y, cmap='coolwarm')
ax.set_title('Mapped to 3D Space using RBF Kernel')

plt.show()

svm.SVC说明

svm.SVC是scikit-learn中的支持向量分类器函数，其中包含许多参数，每个参数在模型的训练和预测过程中都有其特定的作用。以下是一些常用参数及其含义：

1. C (default=1.0) : 正则化参数。它控制权衡分类正确率与决策函数的复杂度。较小的C值会使模型更宽松，对错误分类更容忍；较大的C值会使模型更严格，可能导致过拟合。

2. kernel (default=‘rbf’) : 核函数类型，用于指定在训练算法中使用的核函数。支持的核函数有：

• 'linear': 线性核

• 'poly': 多项式核

• 'rbf': 径向基函数核（高斯核）

• 'sigmoid': Sigmoid核

• 'precomputed': 预计算核
  可以通过传递自定义的核函数来定义自己的核。

3. degree (default=3) : 多项式核函数的维度。如果使用多项式核函数（kernel='poly'），则该参数指定多项式的维度。

4. gamma (default=‘scale’) : 核函数系数。用于‘rbf’、‘poly’和‘sigmoid’核。参数的值可以是：

• 'scale': 默认值，使用1 / (n_features * X.var())

• 'auto': 使用1 / n_features

• 具体的浮点数值

5. coef0 (default=0.0) : 核函数中的独立项。对于‘poly’和‘sigmoid’核函数有用。

6. probability (default=False) : 是否启用概率估计。如果启用，训练时间会更长一些。

7. shrinking (default=True) : 是否使用启发式方法加速训练过程。

8. tol (default=1e-3) : 停止标准的精度。训练算法的停止标准。

9. cache_size (default=200) : 指定内存缓存大小（以MB为单位），用于存储训练过程中计算的核矩阵。

10. class_weight (default=None) : 给定各类样本的权重，形式为字典{class_label: weight}。用于处理类别不平衡问题。

11. verbose (default=False) : 启用详细输出。在实际运行时，通常不会开启这个选项。

12. max_iter (default=-1) : 限制最大迭代次数。设置为-1时，表示没有限制。

13. decision_function_shape (default=‘ovr’) : 决策函数的形状，支持‘ovr’（一对多）和‘ovo’（一对一）。默认使用‘ovr’。

14. break_ties (default=False) : 在决策边界上对平票情况进行处理（仅适用于‘ovr’）。启用时会增加计算开销。

15. random_state (default=None) : 随机数生成器的种子。