机器学习（七）

一，监督学习和无监督学习聚类的数据集比较：

监督学习：数据集包括输入的数据和与之对应的标签

无监督学习：数据集仅含有输入的数据，要求算法自己通过所给的数据集来确定决策边界

二，聚类(Clustering):

聚类，即通过给定的数据集，模型自己尝试看看是否可以将其分组为集群

聚类的实现：

K-means（K均值算法）：

一种无监督学习，将未标记的数据集划分为K个不同的群集，其核心目标是最小化簇内平方误差和（即实现数据集到集群中心的距离的最小化）

核心步骤：

将群集中心中心随机分配给簇，然后再重复将点分配给群集中心并移动群集中心，直到达到停止条件

实现步骤：

①给群集中心赋点：首先进行随机猜测，确定集群的中心（如下图中的红蓝叉）

②移动群集中心：通过所给数据集计算，每个数据更靠近红叉还是蓝叉，通过比较来把数据分配给更近的群集中心（把数据分给群集中心）

③重复上述①②操作，根据已有的数据到群集中心的距离，分别算出平均值，再根据平均值来继续移动群集中心，重复操作知道找到最优的群集中心

K-means的成本函数：

损失函数示意图：

K-means具体实现：

随机生成集群中心，并分别计算其损失函数，不断循环（通常在50-1000次）来找到最小损失函数，实现最优

集群数目的选取：

①Elbow method：（图像法选择K）

通过绘制以集群数目K为X轴，损失函数J为Y轴的函数图像，来找到图像的”Elbow”，即函数图像下降最明显的点，负梯度最小的部分，即为最合适的集群数目。

②计算法：（根据实际情况而选择K）

实践中对集群数目的选择大多都是模棱两可的，可以根据实际情况以及自己希望模型后期的表现来选择集群数目

# -*- coding: gbk -*-  # 改为GBK编码声明（临时解决方案）
# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs  # 用于生成演示数据集

# 生成模拟数据
X, y = make_blobs(
    n_samples=300,  # 样本数量
    centers=4,      # 聚类中心数量
    cluster_std=0.6, # 簇的标准差（控制离散程度）
    random_state=0   # 随机种子（确保结果可复现）
)

class KMeans:
    """K-means聚类算法实现"""
    
    def __init__(self, k=4, max_iter=1000):
        """初始化参数
        Args:
            k: 要形成的簇数（聚类中心数）
            max_iter: 最大迭代次数
        """
        self.k = k
        self.max_iter = max_iter
    
    def fit(self, X):
        """训练方法：寻找数据的最佳聚类中心
        
        Args:
            X: 输入数据矩阵，形状为(n_samples, n_features)
        """
        # 随机选择k个数据点作为初始聚类中心
        self.centers = X[np.random.choice(len(X), self.k, replace=False)]
        
        # 开始迭代优化
        for _ in range(self.max_iter):
            # 步骤1：将每个样本分配到最近的聚类中心（E步）
            labels = self._assign_clusters(X)
            
            # 步骤2：根据分配结果重新计算聚类中心（M步）
            new_centers = self._compute_centers(X, labels)
            
            # 如果聚类中心不再变化，提前终止迭代
            if np.allclose(self.centers, new_centers):
                break
                
            self.centers = new_centers  # 更新聚类中心
        
        return self
    
    def _assign_clusters(self, X):
        """计算每个样本所属的最近聚类中心"""
        # 计算每个样本到所有聚类中心的欧氏距离（未开平方以提升性能）
        distances = np.sum((X[:, np.newaxis] - self.centers) ** 2, axis=2)
        # 返回最近中心的索引（即所属簇的标签）
        return np.argmin(distances, axis=1)
    
    def _compute_centers(self, X, labels):
        """根据当前分配结果重新计算聚类中心"""
        new_centers = np.zeros((self.k, X.shape[1]))
        for i in range(self.k):
            # 获取属于当前簇的所有样本
            cluster_samples = X[labels == i]
            # 计算新的聚类中心（样本均值）
            if len(cluster_samples) > 0:
                new_centers[i] = cluster_samples.mean(axis=0)
            else:
                # 如果出现空簇，保持原中心（避免除零错误）
                new_centers[i] = self.centers[i]
        return new_centers
    
    def predict(self, X):
        """预测新样本的所属簇"""
        return self._assign_clusters(X)

# 实例化并训练模型
model = KMeans(k=4)
model.fit(X)

# 获取预测结果
labels = model.predict(X)

# 可视化结果
plt.figure(figsize=(8,6))

# 绘制所有样本点，按聚类结果着色
plt.scatter(
    X[:, 0], X[:, 1],  # 使用前两个特征作为坐标
    c=labels,           # 按预测标签着色
    cmap='viridis',     # 颜色映射方案
    s=50,              # 点的大小
    edgecolor='k'      # 点边缘颜色
)

# 标注聚类中心
plt.scatter(
    model.centers[:, 0], model.centers[:, 1],
    c='red',           # 中心点颜色
    s=200,             # 点的大小
    alpha=0.7,         # 透明度
    marker='X',        # 标记形状
    edgecolor='k',     # 边缘颜色
    linewidth=2        # 边缘线宽
)

# 添加图表元素
plt.title('K-means Clustering Result')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()