Speeded Up Robust Features（SURF，加速稳健特征）

一．积分图像

1.什么是积分图像

积分图像是输入的灰度图像经过一种像素间的累加运算得到种新的图像媒介。对于一幅灰度的图像，积分图像中的任意一点（x,y）的值是指从图像的左上角到这个点的所构成的矩形区域内所有的点的灰度值之和。

从直观来说，一张图像就是一个矩形，这个矩形中每个像素点的积分值，就是以图像左上角像素点为左上角顶点，以该像素点为右下角顶点的矩形中包含的所有元素之和。如下图所示，点(x,y)处的积分值为矩形区域中所有像素之和（包括该点）。

2.积分图像的作用

积分图像是SURF算法减小计算量的关键，从SIFT到SURF算法的性能提升很大程度归功于积分图像的使用。

3.积分图像与原始图像的关系

a.相同点：

积分图像与原始图像的尺寸相同，积分图像中每个位置坐标与原始灰度图像的像素坐标相对应。

(

详细解释：

尺寸相同：积分图像与原始图像具有相同的尺寸，即它们具有相同的宽度和高度。

坐标对应：积分图像中的每个位置坐标与原始灰度图像的像素坐标相对应。换句话说，积分图像中的每个像素值对应于原始图像中相同位置的像素值。

)

b.不同点：

不同的是，在原始图像采用灰度图像的情况下，灰度图像每个像素使用8bit表示，而积分图像由于像素的累加运算，或者由于图像尺度的变化，积分图像中每个像素位宽将会需要积分的像素尾款来表示

4.如何得到积分图像

a.积分像素值

1.坐标系的建立

对于一幅原始的灰度图像，以图像中的第一个像素位置作为坐标原点，向右为x轴正向，向下为y轴正向建立坐标系。

2.积分像素值的确定

将任意像素(z)与坐标原点之间围成的矩形区域内所有像素值相加得到一个新的值，在这里我们把它定义为积分像素值。

b.积分图像的确定

有了积分图像的概念，在原始图像中我们可以计算任意矩形区域内的像素之和。这种运算方式有效的减少了运算量，因为矩形的面积大小不会影响到运算量。任意矩形内的像素累加只需要使用矩形四个顶角位置的积分像素值进行加减运算即可得到。

如果要计算矩形ABCD内的所有像素的累加值只需要再积分图像中找到对应A，B，C，D四个位置的积分像素的值进行加减运算：

二．Hessian矩阵

0.与SIFT算法对比

a. SIFT算法采用的是DoG图像，而SURF采用的是Hessian矩阵行列式近似值图像

SIFT:

b. SIFT算法中使用高斯差分对Lxx、Lxy、Lyy进行近似估计，使用Dxx，Dxy，Dyy函数代替高斯拉普拉斯函数，即

高斯函数的高阶微分与离散的图像函数I(x,y)做卷积运算时相当于使用高斯滤波模板对图像做滤波处理

其行列式为

1.定义

a.图像中某个像素点Hessian矩阵

即每一个像素点都可以求出一个Hessian矩阵。

其行列式为：

（

补充：为什么使用hessian矩阵：

Hessian矩阵在计算机视觉领域中被使用的一个主要原因是它能够提供关于图像局部结构的丰富信息。Hessian矩阵是一个二阶偏导数矩阵，描述了图像局部区域的曲率和边缘信息。通过分析Hessian矩阵的特征值和特征向量，可以获得关于图像的局部形状和结构的重要特征。

使用Hessian矩阵的一些主要应用：

1.特征点检测：Hessian矩阵可以用于检测图像中的关键特征点，如边缘、角点、斑点等。通过分析Hessian矩阵的特征值，可以确定特征点的位置和尺度，并判断其是否为稳定的关键点。

2.尺度空间表示：Hessian矩阵可以用于构建尺度空间，通过在不同尺度下对图像进行高斯模糊，计算Hessian矩阵的特征值，可以得到图像在不同尺度上的局部结构信息。这种尺度空间表示在尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）算法中得到了广泛应用。

3.物体识别与检测：Hessian矩阵可以用于图像中物体的局部特征描述。通过计算Hessian矩阵的特征值，可以生成描述物体局部结构的特征向量或描述子。这些描述子可以用于物体的识别、分类和检测任务。

4.边缘检测：Hessian矩阵可以提供图像中边缘的信息。通过分析Hessian矩阵的特征值，可以确定边缘的位置、方向和强度，并用于边缘检测和图像分割等任务。

Hessian矩阵作为一种图像局部结构的表示方法，具有丰富的信息，能够捕捉到图像中的曲率、边缘等重要特征。在特征点检测、尺度空间表示、物体识别和边缘检测等任务中，使用Hessian矩阵能够提供有力的工具和方法。

）

b.图像的Hessian矩阵

由于我们的特征点需要具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。这样，经过滤波后再进行Hessian的计算。

其中Lxx表示I(x,y)图像函数与高斯函数二阶微分（）在像素点（x,y）处的卷积。Lxy和Lyy也类似这么定义

c.盒子滤波器

高斯函数的高阶微分与离散的图像函数I（x,y）做卷积运算时相当于使用高斯滤波模板对图像做滤波处理。在实际运用中，高斯二阶微分进行离散化和裁剪处理得到盒子滤波器近似代替高斯滤波板进行卷积计算

网格中渐变的颜色深度代表高斯滤波模板中不同的权重系数。某一尺寸的高斯滤波模板经过离散化和裁剪生成的盒子滤波器包括Dxx,Dxy,Dyy三个方向。

对高斯高阶微分函数进行离散化处理的同时也将滤波模板的各部分的滤波权重进行简化，所以系数都是{1,-1,-2,0}集合中的元素。

三．尺度空间的构造

上述工作是通过模板卷积求二阶偏导数得到H矩阵，接下来要通过Hessian矩阵构建尺度空间。

a.SIFT尺度空间

在SIFT中，尺度空间是用金字塔模型对图像滤波缩放得到的。SIFT算法首先对一幅图片进行下采样得到若干图像，每次下采样得到的图片作为每一组的原始图像。为了保证图像金字塔的连续性，对每组的原始图像以不同的σ进行高斯滤波，金字塔每组中又得到若干滤波后的图像。

这样得到的图像金字塔分为若干组（Octave），同时每组又有若干层（Layer）图片组成。显然，图像金字塔的计算量会随着金字塔组数和层数的增加而变大。

b.SURF尺度空间

1.相同点

SURF算法的尺度空间同样由若干组（Octave）构成，每一组中包含若干层（Level）。

2.不同点

组：

SURF算法中不会对图片进行下采样。SURF算法先从9x9尺寸的盒子滤波器开始，对盒子滤波器的尺寸进行扩展，9x9尺寸的盒子滤波器是σ为1.2时的高斯二阶微分函数经过离散和减裁后的滤波模板。在SURF中，我们保持图像不变，仅仅改变高斯滤波窗口的大小来获得不同尺度的图像，即构成了尺度空间。

层：

每一层对应的σ与滤波模板尺寸之间的关系式为。Bay建议将尺度空间分为四组，每组中包括四层。

为了保持尺度空间的连续性，SURF算法尺度空间相邻组中有部分层重叠，同时每组中的盒子滤波器的尺寸都是逐渐增大的。

c.Hessian行列式图像的产生过程

在SURF算法的尺度空间中，每一组中任意一层包括Dxx,Dxy,Dyy三种盒子滤波器。对一幅输入图像进行滤波后通过Hessian行列式计算公式可以得到对于尺度坐标下的Hessian行列式的值，所有Hessian行列式值构成一幅Hessian行列式图像。

一幅灰度图像经过尺度空间中不同尺寸盒子滤波器的滤波处理，可以生成多幅Hessian行列式图像，从而构成了图像金字塔。

四．特征点精确定位

a.非极大值抑制过程

在每一组中选取相邻的三层Hessian行列式图像，对于中间层的每一个Hessian行列式值都可以做为待比较的点，在空间中选取该点周围的26个点进行比较大小，若该点大于其他26个点，则该点为特征点。从上述过程可以知道，当尺度空间每组由四层构成时，非极大值抑制只会在中间两层进行，相邻的组之间不进行比较。