目标
- SUFR 是什么
- OpenCV 中的SURF
原理
学习了解过SIFT 算法后我们知道,它是对图像关键点进行检测和描述的,具有尺度不变的特性,但是这种算法的执行速度比较慢,人们需要速度更快的算法。2006年Bay,H.,Tuytelaars,T. 和Van Gool,L 共同提出了SURF(Speeded-Up Robust Features,加速稳健特征)算法。跟它的名字一样,这个算法是加速版的SIFT。
在SIFT 中,Lowe 在构建尺度空间时使用DoG 对LoG 进行近似似。SURF使用盒子滤波器(box_filter)对LoG 进行近似。下图显示了这种近似。在进行卷积运算时可以利用积分图像(积分图像的一大特点是:计算图像中某个窗口内所有像素和时,计算量的大小与窗口大小无关),是盒子滤波器的一大优点。而且这种计算可以在不同尺度空间同时进行。同样SURF 算法计算关键点的尺度和位置是也是依赖与Hessian 矩阵行列式的。
为了保证特征矢量具有旋转不变形,需要对于每一个特征点分配一个主要方向。需要以特征点为中心,以6s(s 为特征点的尺度)为半径的圆形区域内,对图像进行 Harr 小波相应运算。这样做实际就是对图像进行梯度运算,但是利用积分图像,可以提高计算图像梯度的效率,为了求取主方向值,需要设计一个以方向为中心,张角为60 度的扇形滑动窗口,以步长为0.2 弧度左右旋转滑动这个窗口并对窗口内的图像Haar 小波的响应值进行累加。主方向为最大的Haar 响应累加值对应的方向。在很多应用中根本就不需要旋转不变性,所以没有必要确定它们的方向,如果不计算方向的话,又可以使算法提速。SURF 提供了成为U-SURF 的功能,它具有更快的速度,同时保持了对+/-15 度旋转的稳定性。OpenCV 对这两种模式同样支持,只需要对参数 upright 设置,当upright 为0 时,计算方向;为1 时不计算方向,同时速度更快。
生成特征点的特征矢量需要计算图像的Haar 小波响应。在一个矩形的区域内,以特征点为中心,沿主方向将20s*20s 的图像划分成4*4 个子块,每个子块利用尺寸2s 的Haar 小波模版进行响应计算,然后对响应值进行统计,组成向量:,。这个描述符的长度为64。降低的
维度可以加速计算算和匹配,但又能提供更容易区分的特征。
为了增加特征点的独特性,SURF 提供了一个加强版128 维的特征描述符。当dy 大于0 和小于0 时分别对dx 和|dx| 的和进行计算,计算dy和|dy| 时也进行区分,这样获得特征就会加倍,但又不会增加计算的复杂度。OpenCV 同样提供了这种功能,当参数extended 设置为1 时为128 维,当参数为0 时为64 维,默认情况为128 维。
在检测特征点的过程中,计算了Hessian 矩阵的行列式,与此同时计算得到了Hessian 矩阵的迹,矩阵的迹为对角元素之和。
按照亮度的不同,可以将特征点分为两种:第一种为特征点及其周围小邻域的亮度比背景区域更亮,Hessian 矩阵的迹为正,另一种为特征点及其周围小邻域的亮度比背景区域更暗Hessian Hessian 矩阵为负值。根据这个特性,首先对两个特征点的Hessian 的迹比较。如果同号,说明两个特征点具有相同的对比度,如果异号的,说明两个特征点的对比度不同,放弃特征点之间的后续的相似性度量。
对于两个特征点描述子的相似性度,我们可以用欧氏距离计算。简单来说, SURF 算法使用用了很多方法来对每一步进行优化从而提高速度。分析显示在结果效果相当的情况下,SURF 的速度是SIFT 的3 倍。SURF 善于处理具有模糊和旋转的图像,但是不善于处理视角变化和关照化。
OpenCV 中的SURF
与SIFT 相同OpenCV 也提供了SURF 的相关函数。首先我们要初始化一个SURF 对象,同时设置好可旋参数,64/128 维描述符,Upright/Normal 模式等。所有的细节已经在文档中讲解的很明白了。就像我们在SIFT 中一样,我们可以使用函数SURF.detect()、SURF.compute() 等来进行关间点搀着和描述。首先从查找描述绘制关键点开始。由于和SIFT 一样所以我们的示例在Python 终端中演示。
在一幅图像中显示699 个关键点太多了。我们把它缩减到50 个再绘制到图片上。在匹配时,我们可能需要所有的这些特征,不过现在还不需要。所以我们现在提高 Hessian 的阈值。
现在低于50 了,把它们绘制到图像中吧。
img2 = cv2.drawKeypoints(img,kp,None,(255,0,0),4)
plt.imshow(img2),plt.show()
结果如下。你会发现SURF 很像一个斑点检测器。它可以检测到蝴蝶翅膀上的白斑。你可以在其他图片中测试一下。
现在我们用一下U-SURF,它不会检测关键点的方向 。
结果如下。所有的关键点的朝向都是一致的。它比前面的快很多。如果你的工作对关键点的朝向没有特别的(如全景图拼接)等,这种方法会更快。
最后我们再看看关键点描述符的大小,如果是64 维的就改成128 维。
提取到特征之后,接下来要做的就是匹配了。