SLIC超像素分割算法

《SLIC Superpixels》

摘要

超像素在计算机视觉应用中越来越受欢迎。然而，很少有算法能够输出所需数量的规则、紧凑的超级像素，并且计算开销低。我们介绍了一种新的算法，将像素聚类在组合的五维颜色和图像平面空间中，以有效地生成紧凑，几乎均匀的超级像素。我们的方法十分简单，因此非常容易使用(一个单独的参数指定超像素的数量)，并且算法的效率使它非常高且实用。实验表明，我们的方法以较低的计算成本产生超像素，同时实现了分割质量等同或优于四种最先进的方法，以边界召回和分割不足误差来衡量。我们还演示了我们的超像素方法与现有方法相比的两个任务的优势，在这两个任务中，超像素已经被证明在性能上比基于像素的方法更优。

1 介绍

超像素为计算局部图像特征提供了一个方便的原语。它们捕获图像[1]中的冗余，并大大降低了后续图像处理任务的复杂性。它们已被证明在**深度估计[2]、图像分割[3,4]、骨骼化[5]、身体模型估计[6]和物体定位[7]**等应用中越来越有用。

超像素要应用在其他任务中，就必须拥有高效率，并产生高质量的分割。不幸的是，大多数最先进的超像素方法都不能满足所有这些要求。正如我们将演示的那样，它们经常受到高计算成本、低质量分割、不一致的大小和形状或包含多个难以调整的参数的影响。

我们在这项工作中提倡的方法，虽然非常简单，但解决了这些问题，并比最先进的方法更有效地产生高质量、紧凑、几乎均匀的超像素[8,9,5,10]。我们提出的算法，简单线性迭代聚类(SLIC)在L定义的5维空间中对像素进行局部聚类分别是CIELAB颜色空间的L, a, b值以及x,y像素坐标。一种新的距离测量强制紧凑和规则的超像素形状，并无缝适应灰度以及彩色图像。SLIC实现简单，易于在实践中应用{唯一的参数指定所需的超像素数。在伯克利基准数据集[11]上的实验表明，SLIC明显比竞争方法更有效，同时通过标准边界召回和分割不足误差测量产生类似或更好的分割质量。

对于许多视觉任务，紧凑且高度一致的超像素尊重图像边界，例如图1中由SLIC生成的超像素。例如，当从基于像素的图切换到超像素时，条件随机场(CRF)等基于图的模型可以看到速度的显著提高[3,7]，但松散或不规则的超像素会降低性能。如果超像素是松散的或不规则的，从超像素位置的图像中提取的SIFT等局部特征将变得不那么有意义和有区别，并且在两个或多个超像素的团上学习统计信息可能不可靠。当我们将SLIC超像素的性能与两种视觉任务(物体类别识别和医学图像分割)的竞争方法进行比较时，可以看到这种效果。在这两种情况下，与现有方法相比，我们的方法以更低的计算成本获得了类似或更好的性能。

2 背景

我们对现有的图像分割方法进行了简要回顾，并重点关注了生成超像素的适应性。需要注意的是，并非所有算法都是用于这个目的，所以一些分割可能不够紧凑，但我们仍然需要对它们进行讨论。

大体上，我们将超像素算法分为两类，分别是基于图的和基于梯度上升的方法。我们的研究结果见表格1，我们考虑了分割质量、是否能控制分割数目和大小等因素。

3 SLIC分割算法

我们的方法通过基于像素在图像平面上的颜色相似性和接近性聚类像素来生成超级像素。这是在五维**[labxy]空间**中完成的，其中[lab]是CIELAB颜色空间中的像素颜色向量，它被广泛认为是小颜色距离感知均匀的，xy是像素位置。虽然CIELAB空间中两种颜色之间的最大可能距离(假设sRGB输入图像)是有限的，但xy平面中的空间距离取决于图像大小。在这个5D空间中，如果不将空间距离标准化，就不可能简单地使用欧几里得距离。为了在这个5D空间中聚类像素，因此我们引入了一种考虑超像素大小的新的距离度量。使用它，我们在这个5D空间中强制颜色相似性以及像素接近性，以便预期的簇大小及其空间范围大致相等。

3.1 距离测量

输入的参数为超像素的期望像素数量K，对于N像素的图像，每个超像素的近似大小为N/K个像素，对于大小大致相同的超像素，每个网格间隔$S=\sqrt{N/K}$都有一个超像素中心。

首先，我们选择K个超像素聚类中心，每个超像素的近似面积大概是$S^2$，相应的搜索区域为每个超像素中心周围的2S*2S区域内。

我们利用欧氏距离来进行度量，引入变量m进行调节（m越大表示空间邻近性越强），公式如下：

$D_s=d_{lab}+\frac{m}{S}{d}_{xy}$

3.2 算法

我们首先采样K个有规律间隔的聚类中心，并将它们移动到对应于3 × 3邻域中最低梯度位置的种子位置。

然后，我们迭代地重复将像素与最近的聚类中心关联并重新计算聚类中心的过程，直到收敛。

在这个过程的最后，可能会留下一些散落的标签，也就是说，在一个较大的段附近有几个像素具有相同的标签，但没有连接到它。尽管这种情况很少见，但尽管采用了空间接近度度量，这种情况还是会出现，因为我们的集群没有显式地强制连通性。尽管如此，我们在算法的最后一步通过用最大的相邻聚类的标签重新标记不相连的段来加强连通性。这一步是O(N)复杂的，所花费的时间不到分割图像所需总时间的10%。伪代码如下所示，很明显复杂度为O(N)

python代码实现

# 超像素分割 - 获取图像分块的边界 
def get_slic(img_path, mini_area):
    print(img_path)
    # read image
    origianl_img = cv2.imread(img_path)
    img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE)  # RGB转灰度图
    reached_pos_list = []  # 获取可移动区域的坐标集合

    # 二值化图像
    for i in range(img.shape[0]):
        for j in range(img.shape[1]):
            if img[i][j] < 5:  # 设定阈值为10（可调整）
                reached_pos_list.append((i, j))
                img[i][j] = 255
                origianl_img[i][j] = (255, 255, 255)
            else:
                img[i][j] = 0
                origianl_img[i][j] = (0, 0, 0)

    print(len(reached_pos_list))
    print(len(img.flatten()))
    img_copy = img.copy()

    # 初始化slic项，超像素平均尺寸20（默认为10），平滑因子20
    slic = cv2.ximgproc.createSuperpixelSLIC(img, region_size=32, ruler=30.0)
    slic.iterate(100)  # 迭代次数，越大效果越好
    mask_slic = slic.getLabelContourMask()  # 获取Mask，超像素边缘Mask==1
    label_slic = slic.getLabels()  # 获取超像素标签
    number_slic = slic.getNumberOfSuperpixels()  # 获取超像素数目
    mask_inv_slic = cv2.bitwise_not(mask_slic)
    img_slic = cv2.bitwise_and(img, img, mask=mask_inv_slic)  # 在原图上绘制超像素边界