本篇主要利用OpenCV自带的配准拼接函数
Stitcher_create来实现多幅图像的配准拼接
代码参考自：https://github.com/samggggflynn/image-stitching-opencv
图像拼接创建步骤
通常来说，根据多个图像创建全景图的步骤为以下几步：
- 检测两张图像的关键点特征（DoG、Harris等）
- 计算不变特征描述符（SIFT、SURF或ORB等）
- 根据关键点特征和描述符，对两张图像进行匹配，得到若干匹配点对，并移除错误匹配；
- 使用Ransac算法和匹配的特征来估计单应矩阵（homography matrix）；
- 通过单应矩阵来对图像进行仿射变换；
- 两图像拼接，重叠部分融合；
- 裁剪以获得美观的最终图像。
OpenCV实践
OpenCV提供了cv2.createStitcher (OpenCV 3.x) 和 cv2.Stitcher_create(OpenCV 4) 这个拼接函数接口，对于其背后的算法，尚未可知(该函数接口是调用其它的C语言进行实现)，查阅官方文档，并未找到完全对应上的内容。因此，下文主要偏向于实践。
官方文档链接：https://docs.opencv.org/4.5.3/d2/d8d/classcv_1_1Stitcher.html
下面是示例代码，采用的是OpenCV4.5.3版本，主要内容均已添加注释：
from imutils import paths
import numpy as np
import imutils
import cv2
images = 'images/myimg' # 输入图片文件夹路径
output = 'myoutput2.png' # 输出图片名称
crop = True
imagePaths = sorted(list(paths.list_images(images)))
images = []
# 读取文件夹图片
for imagePath in imagePaths:
image = cv2.imread(imagePath)
images.append(image)
# 创建缝合器
stitcher = cv2.Stitcher_create()
(status, stitched) = stitcher.stitch(images)
# status:状态，0代表成功
if status == 0:
# 裁剪图像
if crop:
# 在拼图周围添加2像素
stitched = cv2.copyMakeBorder(stitched, 2, 2, 2, cv2.BORDER_CONSTANT, (0, 0, 0))
# 对图像进行灰度化和阈值化
gray = cv2.cvtColor(stitched, cv2.COLOR_BGR2GRAY)
thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY)[1]
# 查找阈值图像的轮廓
cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
c = max(cnts, key=cv2.contourArea)
# 在这个轮廓下绘制最大的矩形
mask = np.zeros(thresh.shape, dtype="uint8")
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(mask, (x, y), (x + w, y + h), 255, -1)
# 创建两个遮罩
# minRect作为不断腐蚀的矩形
# sub作为阈值图像和minRect的插值来进行判断
minRect = mask.copy()
sub = mask.copy()
while cv2.countNonZero(sub) > 0:
minRect = cv2.erode(minRect, None)
sub = cv2.subtract(minRect, thresh)
# 得到最小的矩形，提取其范围坐标
cnts = cv2.findContours(minRect.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
cnts = imutils.grab_contours(cnts)
c = max(cnts, key=cv2.contourArea)
(x, y, w, h) = cv2.boundingRect(c)
# 使用该范围坐标对原图进行裁剪
stitched = stitched[y:y + h, x:x + w]
# 保存图片
cv2.imwrite(output, stitched)
else:
print("拼接失败，错误码：{}".format(status))
从上述代码可知，核心拼接方式是stitcher = cv2.Stitcher_create()和(status, stitched) = stitcher.stitch(images)两行内容，下面的方式是对拼接完的图像进行裁剪，以便找到其中的最大矩形。
其中，status表示是否拼接成功，主要由四个值：
- OK=0 ：图像拼接成功。
- ERR_NEED_MORE_IMGS=1 ：这表明构建全景图像需要输入更多的输入图像。没有检测到足够关键点时，会发生该错误。
- ERR_HOMOGRAPHY_SET_FAIL=2：使用RANSAC算法估计单应性矩阵失败。同样地，这表明需要更多的图像或者图像地辨识度不足，不能够提取到独特地关键点以精确匹配。
- ERR_CAMERA_PARAMS_ADJUST_FAIL = 3： 很少遇见，与相机有关。
若crop = True则进行后续裁剪，若crop = False则保留拼接完成的原图。
原仓库给出了三张测试小图如下：
不进行裁剪之后的结果：
裁剪后的结果为下图红框所示部分：
参考
[1]https://github.com/samggggflynn/image-stitching-opencv
[2]你相机里的全景图是如何实现的 https://zhuanlan.zhihu.com/p/83225676
[3]PyImageSearch学习笔记三（使用Opencv拼接全景地图二）https://zhuanlan.zhihu.com/p/504145711
