Kmeans算法原理及Python实现

news2024/9/22 1:02:24

K-means算法是一种广泛使用的聚类算法，其原理相对简单且易于实现，属于无监督学习的一种。以下是对K-means算法原理的详细解析：

一、基本思想

K-means算法的基本思想是将数据集划分为K个簇，使得每个簇内的数据点尽可能相似，而不同簇之间的数据点则尽可能不相似。算法通过迭代的方式，不断调整簇的中心点，直到满足某个终止条件为止。

二、算法步骤

指定聚类数目K：首先，用户需要指定希望将数据集聚类成的簇的数量K。这个K值的选择对于最终的聚类结果有重要影响。
选择初始簇中心：算法开始时，需要从数据集中随机选择K个数据点作为初始的簇中心。这些初始簇中心的选择对于算法的收敛速度和聚类结果的质量有一定影响。为了改善这一点，可以使用一些改进算法，如K-means++。
分配数据点到簇：对于数据集中的每一个数据点，计算它与各个簇中心的距离，并将其分配到距离最近的簇中。这一步骤会生成初始的聚类结果。
更新簇中心：根据当前的聚类结果，重新计算每个簇的中心点。簇中心通常是通过计算簇内所有数据点的平均值得到的。
迭代优化：重复步骤3和步骤4，直到簇中心不再发生变化，或者达到预定的迭代次数。在迭代过程中，簇中心会逐渐移动到数据点分布的中心位置，从而使得簇内的数据点更加紧密，簇间的数据点更加分散。

三、终止条件

K-means算法的终止条件通常包括以下几种：

簇中心不再发生变化：如果连续多次迭代后，簇中心的位置没有发生显著变化，则认为算法已经收敛，可以停止迭代。
达到预定的迭代次数：为了防止算法无限期地运行下去，通常会设置一个最大迭代次数。当迭代次数达到这个预设值时，算法会停止运行并输出当前的聚类结果。

四、优缺点

优点：

算法原理简单易懂，实现起来相对容易。
计算效率高，特别适用于处理大规模数据集。
聚类效果通常较好，能够发现数据中的潜在结构。

缺点：

需要用户事先指定簇的数量K，这个值的选择对聚类结果有很大影响。
对初始簇中心的选择敏感，不同的初始簇中心可能导致不同的聚类结果。
对于非凸形状的数据集，K-means算法可能无法很好地发现簇结构。
容易陷入局部最优解，无法得到全局最优的聚类结果。

综上所述，K-means算法是一种简单而有效的聚类算法，但在使用时需要注意选择合适的K值和初始簇中心，以及考虑数据的特性和分布情况。

五、Python实现

在Python中，实现K-means算法的一个常见方法是使用sklearn库中的KMeans类。不过，为了理解K-means算法的工作原理，我们也可以从头开始实现它。下面是一个简单的K-means算法的Python实现示例：

import numpy as np

class KMeans:
    def __init__(self, k=3, max_iters=100, tol=1e-4):
        self.k = k
        self.max_iters = max_iters
        self.tol = tol

    def fit(self, X):
        # 初始化质心
        indices = np.random.choice(X.shape[0], self.k, replace=False)
        centroids = X[indices]

        for _ in range(self.max_iters):
            # 将每个点分配给最近的质心
            clusters = [[] for _ in range(self.k)]
            for features in X:
                distances = [np.linalg.norm(features - centroid) for centroid in centroids]
                closest_cluster = np.argmin(distances)
                clusters[closest_cluster].append(features)

            # 计算新的质心
            new_centroids = np.array([np.mean(cluster, axis=0) for cluster in clusters if cluster])

            # 检查质心是否变化
            if np.allclose(centroids, new_centroids, atol=self.tol):
                break

            centroids = new_centroids

        self.centroids = centroids
        self.clusters = clusters

    def predict(self, X):
        y_pred = [np.argmin([np.linalg.norm(x - centroid) for centroid in self.centroids]) for x in X]
        return np.array(y_pred)

# 示例使用
if __name__ == "__main__":
    # 生成一些随机数据
    from sklearn.datasets import make_blobs
    X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)

    # 创建KMeans实例并拟合数据
    kmeans = KMeans(k=4)
    kmeans.fit(X)

    # 预测每个点的簇标签
    y_pred = kmeans.predict(X)

    # 打印质心
    print("Centroids:")
    print(kmeans.centroids)

    # 你可以使用matplotlib来可视化结果
    import matplotlib.pyplot as plt
    plt.scatter(X[:, 0], X[:, 1], c=y_pred, cmap='viridis', marker='o', edgecolor='k')
    plt.scatter(kmeans.centroids[:, 0], kmeans.centroids[:, 1], c='red', s=200, alpha=0.75)
    plt.show()