落地 ORB角点检测与sift检测

ORB角点检测

可以说ORB是由FAST、灰度质心和BRIEF等技术组合优化形成的，不过更准确地说，ORB是在FAST特征检测算法基础上，结合了灰度质心确定方向以及改进后的BRIEF描述子等技术形成的，以下是具体分析：

• FAST特征检测：ORB算法首先采用FAST算法来检测图像中的特征点。FAST算法通过判断以某个像素点为中心的圆周上的像素点灰度值与该中心像素点灰度值的关系，快速地筛选出可能的特征点，具有速度快的优点。

• 灰度质心确定方向：ORB利用灰度质心法为FAST检测出的特征点计算方向。通过计算特征点邻域内的灰度质心，确定从特征点到质心的向量方向，以此作为特征点的主方向，解决了BRIEF描述子不具有旋转不变性的问题。

• 改进的BRIEF描述子：ORB采用了改进的BRIEF描述子，称为rBRIEF。在确定了特征点的方向后，根据该方向对选取的点对进行旋转，使得描述子具有旋转不变性。同时，还对BRIEF描述子进行了其他一些优化，如对特征点的尺度进行考虑等，提高了描述子的性能。

SIFT角点检测

检测步骤

• 尺度空间极值检测：构建图像的高斯金字塔，通过对原始图像与不同尺度倍率的高斯模糊进行卷积，将相邻的高斯模糊影像两两相减得到高斯差（DoG）影像。在DoG影像中查找极大值和极小值，这些极值点即为可能的关键点。

• 关键点定位：通过关键点附近的像素信息、关键点的尺寸和主曲率来进一步定位各个关键点，计算关键点的主曲率，消除位于边缘或易受噪音干扰、位置不合适的关键点。

• 方向定向：对经过高斯模糊处理后的影像，计算相邻像素的梯度量和方向，为每个关键点建立一个以10度为单位的36条直方图，直方图中最大值的方向成为关键点的方向。若最大值与局部极大值之间的差距不超过20%，则认为关键点包含多个方向，并创建一个新的关键点。

• 生成描述子：以关键点为中心取16×16的区域，将其划分为4×4的子区域，每个子区域内建立一个八方向的直方图，计算每个像素的梯度量值大小与方向并添加到相应的子区域直方图中，最终产生一个128维的数据集，将其归一化为单位向量作为关键点的描述子。

应用场景

• 物体识别：能识别独特的关键点，不受移动、旋转、缩放等因素影响，可用于从图像或视频中识别特定物体。

• 图像拼接：通过检测不同图像中的匹配特征点，可实现非全景图像的自动全景重建。

• 三维重建：从多个视角的二维图像中提取SIFT特征，可用于重建出三维物体的形状和结构。

• 机器人导航与地图构建：帮助机器人识别环境中的关键

两者区别

ORB和SIFT的比较如下：

计算速度

• ORB：基于FAST角点检测和BRIEF描述子，二者都是基于二进制操作，计算速度快。

• SIFT：需要构建尺度空间、进行极值点检测等复杂操作，计算量较大，速度相对较慢。

特征鲁棒性

• ORB：具有一定的旋转不变性，但尺度不变性相对较弱，对光照变化和噪声敏感度相对较高。

• SIFT：对旋转、尺度缩放、亮度变化保持很好的不变性，对视角变化、仿射变换、噪声也有一定的稳定性。

特征描述

• ORB：采用二进制编码的描述子，如通过比较关键点周围的像素点对生成，占用空间小，匹配时可采用汉明距离等快速计算。

• SIFT：生成128维的特征描述子，包含了丰富的图像局部梯度等信息，特征区分性好，但维度高、计算复杂。

应用场景

• ORB：适用于实时性要求高的场景，如实时图像处理、SLAM等。

• SIFT：适用于对精度要求较高，对速度要求不苛刻的场景，如目标识别、图像拼接、三维重建等。

orb检测速度更快，但是空间旋转的控制识别相较于sift没那么好

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main(int argc, char** argv) {
   // Mat image = imread("D:/images/butterfly.jpg");
   Mat image = imread("C:/newword/image/25.mp4");
   imshow("input", image);
   auto orb = ORB::create(500);//创建了一个 ORB 特征检测器实例，指定最多检测500个关键点
   vector<KeyPoint> kypts;
   orb->detect(image, kypts);//使用 detect 函数在图像中检测关键点并存储在 kypts 中
   Mat result;
   drawKeypoints(image, kypts, result, Scalar::all(-1), DrawMatchesFlags::DEFAULT);//

drawKeypoints函数是OpenCV中用于在图像上绘制特征点的函数，下面对drawKeypoints(image, kypts, result, Scalar::all(-1), DrawMatchesFlags::DEFAULT);这行代码的参数进行详细解释：

• image：表示输入的源图像，是要在其上绘制关键点的图像，函数不会对该图像进行修改，仅用于获取图像数据和尺寸等信息。

• kypts：是vector<KeyPoint>类型的容器，包含了要绘制的关键点信息，每个KeyPoint对象包含了关键点的坐标、尺度、方向等属性。

• result：是输出图像，函数会将绘制了关键点的图像输出到这个Mat对象中，其尺寸和类型与输入图像image相同。

• Scalar::all(-1)：用于指定绘制关键点的颜色。Scalar是OpenCV中用于表示颜色的结构体，Scalar::all(-1)表示使用默认的随机颜色来绘制每个关键点。

• DrawMatchesFlags::DEFAULT：是绘制的标志位，指定了绘制关键点的方式和细节，DrawMatchesFlags::DEFAULT表示使用默认的绘制方式，会绘制关键点的圆圈以及方向（如果有的话）。

   Mat desc_orb;
   orb->compute(image, kypts, desc_orb);
   std::cout << desc_orb.rows << " x " << desc_orb.cols << std::endl;

1. orb->compute(image, kypts, desc_orb);：

• 这是在OpenCV中使用ORB（Oriented FAST and Rotated BRIEF）特征检测器的compute方法。

• orb是一个指向ORB对象的指针，compute方法的作用是根据给定的图像image和已经检测到的关键点kypts，计算这些关键点对应的描述符。

• 描述符是一种用于描述关键点特征的向量，它包含了关键点周围图像的局部信息，这些信息可以用于后续的特征匹配等操作。计算得到的描述符会存储在desc_orb这个Mat对象中。desc_orb的每一行代表一个关键点的描述符向量。

2. std::cout << desc_orb.rows << " x " << desc_orb.cols << std::endl;：

• 这行代码用于输出描述符矩阵desc_orb的尺寸信息。

• desc_orb.rows表示描述符矩阵的行数，即关键点的数量。

• desc_orb.cols表示描述符矩阵的列数，即每个关键点描述符向量的维度。

• 这行代码通过std::cout将描述符矩阵的行数和列数以"行数 x 列数"的形式输出到控制台，方便用户了解描述符的基本信息，例如输出可能是"100 x 32"，表示检测到了100个关键点，每个关键点的描述符是32维的向量。

   imshow("ORB关键点检测", result);
   waitKey(0);
   return 0;
}

SIFT检测

#include <opencv2/opencv.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main(int argc, char** argv) {
   // Mat image = imread("D:/images/butterfly.jpg");
   Mat image = imread("C:/newword/image/28.jpg");
   imshow("input", image);
   auto sift = SIFT::create(500);
   vector<KeyPoint> kypts;
   sift->detect(image, kypts);
   Mat result;
   drawKeypoints(image, kypts, result, Scalar::all(-1), DrawMatchesFlags::DEFAULT);
   std::cout << kypts.size() << std::endl;
   for (int i = 0; i < kypts.size(); i++) {
       std::cout << "pt:" << kypts[i].pt << " angle:" << kypts[i].angle << "size: " << kypts[i].size << std::endl;
   }
   Mat desc_orb;
   sift->compute(image, kypts, desc_orb);
   std::cout << desc_orb.rows << " x " << desc_orb.cols << std::endl;

   imshow("SIFT关键点检测", result);
   waitKey(0);
   return 0;
}