【机器学习】K近邻（K-Nearest Neighbors，简称KNN）的基本概念以及消极方法和积极方法的区别

引言

K近邻（K-Nearest Neighbors，简称KNN）算法是一种基础的机器学习方法，属于监督学习范畴

文章目录

引言
一、K近邻（K-Nearest Neighbors，简称KNN）
- 1.1 原理详述
- - 1.1.1 距离度量
  - 1.1.2 选择k值
  - 1.1.3 投票机制
- 1.2 实现步骤
- 1.3 参数选择
- 1.4 应用场景
- 1.5 优缺点
- - 1.5.1 优点
  - 1.5.2 缺点
- 1.6 k-近邻代码实例
三、如何选择k值
- 3.1 交叉验证
- 3.2 留出法（Hold-out Method）
- 3.3 学习曲线
- 3.4 超参数优化技术
- 3.5 Elbow Method
- 3.6 注意事项
四、消极方法和积极方法的区别
- 4.1 消极方法（Passive Methods）
- - 4.1.1 原理：
  - 4.1.2 性能上的优缺点：
- 4.2 积极方法（Active Methods）
- - 4.2.1 原理：
  - 4.2.2 性能上的优缺点：
- 4.3 综合考虑

一、K近邻（K-Nearest Neighbors，简称KNN）

K近邻的核心思想是，如果一个样本在特征空间中的k个最近邻大多数属于某一个类别，那么该样本也属于这个类别。KNN算法既可以用于分类问题，也可以用于回归问题

1.1 原理详述

1.1.1 距离度量

KNN算法首先需要计算新样本与已有数据集中每个样本的距离。距离度量可以是欧氏距离、曼哈顿距离、汉明距离等。以下是几种常见的距离计算公式：

欧氏距离：对于两个n维向量 $A$ 和 $B$ ，其欧氏距离为
$\sqrt{\sum_{i=1}^{n} (A_i - B_i)^2}$
曼哈顿距离：其公式为
$\sum_{i=1}^{n} |A_i - B_i|$
汉明距离：通常用于布尔值向量，其公式为
$\sum_{i=1}^{n} \delta(A_i, B_i)$
其中 $\delta(x, y)$ 是指示函数，当 $\neq y$ 时为1，否则为0

1.1.2 选择k值

k值的选择对KNN算法的性能有重要影响。较小的k值意味着模型对噪声更敏感，而较大的k值可能导致模型对输入数据的特征不敏感

1.1.3 投票机制

对于分类问题，KNN算法通常采用“多数表决”规则，即一个新样本被分配到k个最近邻中最常见的类。如果存在多个类具有相同数量的最近邻，则可以随机选择一个类，或者基于距离加权投票

1.2 实现步骤

数据预处理：包括特征缩放和归一化，以确保所有特征对距离计算有相同的影响
选择k值：通过交叉验证等方法选择最优的k值
训练模型：KNN算法实际上没有显式的训练过程，它只是在预测时计算新样本与训练数据的距离
预测：对于一个新的样本，计算它与训练集中所有样本的距离，选择最近的k个样本，并根据这些样本的标签进行投票

1.3 参数选择

k值：如前所述，k值的选择对算法性能有很大影响。通常通过交叉验证来选择最优k值
距离度量：根据数据的特性选择合适的距离度量方法

1.4 应用场景

文本分类：如垃圾邮件检测
图像识别：如手写数字识别
推荐系统：通过用户之间的相似度来推荐商品或服务
异常检测：识别与大多数数据差异较大的异常点

1.5 优缺点

1.5.1 优点

算法简单，易于理解
不需要建立模型，因此训练时间几乎为零
可以用于分类和回归问题

1.5.2 缺点

计算量大，特别是对于大数据集
对噪声敏感，尤其是当k值较小时
需要大量的内存存储所有训练数据

1.6 k-近邻代码实例

以下是使用Python和Scikit-learn库实现的K近邻算法的完整代码，该代码使用了鸢尾花数据集：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target
# 数据集分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
# 创建KNN分类器实例并训练
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)
# 进行预测
y_pred = knn.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')