OpenCV轮廓匹配原理介绍与使用

1. 轮廓匹配的基本概念

轮廓匹配（Contour Matching）是计算机视觉中的一种重要方法，主要用于比较两个轮廓的相似性。它广泛应用于目标识别、形状分析、手势识别等领域。

在 OpenCV 中，轮廓匹配主要基于形状匹配算法，其中 matchShapes 是核心函数。该函数用于计算两个轮廓之间的相似度，返回一个数值，该数值越小表示两个轮廓越相似。

2. 轮廓匹配的算法原理

Hu矩（Hu Moments）是由Ming-Kuei Hu在1962年提出。OpenCV 采用 Hu 矩（Hu Moments）进行轮廓匹配。Hu 矩是一组不变矩，可以用于描述图像的形状特征，并且具有旋转、缩放和平移不变性。Hu矩是通过对图像的归一化中心矩进行特定的线性组合得到的。具体而言，它们是基于二阶和三阶的归一化中心矩计算的。

Hu 矩由 7 个不变矩组成：

$$\begin{array}{rl}{I}_1& ={\eta }_{20}+{\eta }_{02}\\ I_2& =({\eta }_{20}-{\eta }_{02}{)}^2+4{\eta }_{11}^2\\ I_3& =({\eta }_{30}-3{\eta }_{12}{)}^2+(3{\eta }_{21}-{\eta }_{03}{)}^2\\ I_4& =({\eta }_{30}+{\eta }_{12}{)}^2+({\eta }_{21}+{\eta }_{03}{)}^2\\ I_5& =({\eta }_{30}-3{\eta }_{12})({\eta }_{30}+{\eta }_{12})\left[({\eta }_{30}+{\eta }_{12}{)}^2-3({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & +(3{\eta }_{21}-{\eta }_{03})({\eta }_{21}+{\eta }_{03})\left[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ I_6& =({\eta }_{20}-{\eta }_{02})\left[({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & +4{\eta }_{11}({\eta }_{30}+{\eta }_{12})({\eta }_{21}+{\eta }_{03})\\ I_7& =(3{\eta }_{21}-{\eta }_{03})({\eta }_{30}+{\eta }_{12})\left[({\eta }_{30}+{\eta }_{12}{)}^2-3({\eta }_{21}+{\eta }_{03}{)}^2\right]\\ & -({\eta }_{30}-3{\eta }_{12})({\eta }_{21}+{\eta }_{03})\left[3({\eta }_{30}+{\eta }_{12}{)}^2-({\eta }_{21}+{\eta }_{03}{)}^2\right]\end{array}$$

通过计算 Hu 矩的值，OpenCV 使用 matchShapes 进行轮廓匹配.

需要注意的是，虽然Hu矩对常见的几何变换具有不变性，但在实际应用中，噪声、遮挡和分割质量等因素可能影响其稳定性。因此，在处理实际问题时，需综合考虑这些因素对Hu矩计算的影响。

3. matchShapes 函数介绍

3.1 函数原型

double matchShapes(InputArray contour1, InputArray contour2, int method, double parameter);

3.2 参数说明

• contour1：第一个轮廓（vector<Point> 格式）。
• contour2：第二个轮廓（vector<Point> 格式）。
• method：匹配方法，可选值：
  • CONTOURS_MATCH_I1：$d(I)=\sum \left|\begin{array}{c}\frac{1}{I_i^{(1)}}-\frac{1}{I_i^{(2)}}\end{array}\right|$
  • CONTOURS_MATCH_I2： $d(I)=\left|\begin{array}{c}{I}_i^{(1)}-I_i^{(2)}\end{array}\right|$
  • CONTOURS_MATCH_I3： $d(I)=\sum \left|\begin{array}{c}\frac{1}{i_1^{(1)}}-\frac{1}{i_i^{(2)}}\end{array}\right|$
• parameter：该参数在当前版本未使用，通常填 0。

3.3 返回值

返回两个轮廓之间的相似性分数，数值越小，轮廓越相似。

4. 轮廓匹配

4.1示例代码1：直接匹配

#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>

using namespace cv;
using namespace std;

int main() 
{
    // 1. 读取输入图像和模板图像，并转换为灰度图
    Mat inputImg = imread("E:/image/pic1.png");
    Mat templateImg = imread("E:/image/templ.png");
    if (inputImg.empty() || templateImg.empty()) {
        cerr << "图像加载失败！" << endl;
        return -1;
    }
    Mat grayInput, grayTemplate;
    cvtColor(inputImg, grayInput, COLOR_BGR2GRAY);
    cvtColor(templateImg, grayTemplate, COLOR_BGR2GRAY);

    // 2. 对图像应用阈值处理得到二值图像
    Mat binaryInput, binaryTemplate;
    threshold(grayInput, binaryInput, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);
    threshold(grayTemplate, binaryTemplate, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);

    // 3. 检测轮廓
    vector<vector<Point>> contoursInput, contoursTemplate;
    vector<Vec4i> hierarchy;
    findContours(binaryInput, contoursInput, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    findContours(binaryTemplate, contoursTemplate, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

    // 4. 假设模板图像只包含一个主要轮廓，取第一个轮廓作为模板
    if (contoursTemplate.empty()) {
        cerr << "模板轮廓检测失败！" << endl;
        return -1;
    }
    cout << contoursTemplate.size();
    vector<Point> templateContour = contoursTemplate[0];

    // 5. 遍历输入图像中的所有轮廓，计算与模板轮廓的匹配度
    for (size_t i = 0; i < contoursInput.size(); i++) {
        double matchScore = matchShapes(templateContour, contoursInput[i], CONTOURS_MATCH_I1, 0);
        cout << "轮廓 " << i << " 匹配分数: " << matchScore << endl;

        // 在输入图像上绘制轮廓并标注匹配分数
        if (matchScore<0.05)
        {
            drawContours(inputImg, contoursInput, static_cast<int>(i), Scalar(0, 255, 0), 2);
        }
      
        Moments m = moments(contoursInput[i]);
        int cx = static_cast<int>(m.m10 / m.m00);
        int cy = static_cast<int>(m.m01 / m.m00);
        putText(inputImg, format("%.2f", matchScore), Point(cx, cy), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 255), 1);
    }

    //6. 显示结果\n   
    imshow("输入图像轮廓匹配", inputImg);
    imshow("模板图像", templateImg);
    waitKey(0);
    return 0;
}

绿色为找到的轮廓

4. 2示例代码2：hu距匹配

#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>

using namespace cv;
using namespace std;

int main()
{
    // 1. 读取输入图像和模板图像，并转换为灰度图
    Mat inputImg = imread("E:/image/pic1.png");
    Mat templateImg = imread("E:/image/templ.png");
    if (inputImg.empty() || templateImg.empty()) {
        cerr << "图像加载失败！" << endl;
        return -1;
    }
    Mat grayInput, grayTemplate;
    cvtColor(inputImg, grayInput, COLOR_BGR2GRAY);
    cvtColor(templateImg, grayTemplate, COLOR_BGR2GRAY);

    // 2. 对图像应用阈值处理得到二值图像
    Mat binaryInput, binaryTemplate;
    threshold(grayInput, binaryInput, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);
    threshold(grayTemplate, binaryTemplate, 0, 255, THRESH_BINARY_INV | THRESH_OTSU);

    // 3. 检测轮廓
    vector<vector<Point>> contoursInput, contoursTemplate;
    vector<Vec4i> hierarchy;
    findContours(binaryInput, contoursInput, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    findContours(binaryTemplate, contoursTemplate, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);

    // 4. 假设模板图像只包含一个主要轮廓，取第一个轮廓作为模板
    if (contoursTemplate.empty()) {
        cerr << "模板轮廓检测失败！" << endl;
        return -1;
    }
    cout << contoursTemplate.size();
    vector<Point> templateContour = contoursTemplate[0];
    Moments mTemplate = moments(contoursTemplate[0]);
    Mat huTemplate;
	HuMoments(mTemplate, huTemplate);

    // 5. 遍历输入图像中的所有轮廓，计算与模板轮廓的匹配度
    for (size_t i = 0; i < contoursInput.size(); i++) {

        // 在输入图像上绘制轮廓并标注匹配分数

        Moments m = moments(contoursInput[i]);
        Mat hu;
        HuMoments(m, hu);
        double matchScore = matchShapes(hu, huTemplate, CONTOURS_MATCH_I1, 0);
        cout << "轮廓 " << i << " 匹配分数: " << matchScore << endl;
        if (matchScore < 0.005)
        {
            drawContours(inputImg, contoursInput, static_cast<int>(i), Scalar(0, 255, 0), 2);
        }

        int cx = static_cast<int>(m.m10 / m.m00);
        int cy = static_cast<int>(m.m01 / m.m00);
        putText(inputImg, format("%.2f", matchScore), Point(cx, cy), FONT_HERSHEY_SIMPLEX, 0.5, Scalar(0, 0, 255), 1);
    }

    //6. 显示结果\n   
    imshow("输入图像轮廓匹配", inputImg);
    imshow("模板图像", templateImg);
    waitKey(0);
    return 0;
}

5. 轮廓匹配的应用场景

OpenCV 的 matchShapes 通过 Hu 矩计算轮廓的相似性，是一种高效的轮廓匹配方法。适用于各种形状分析任务，在实际应用中，可以结合其他特征进一步优化匹配结果。
常用场景

1. 目标识别：如手写字符识别、手势识别，车牌识别等。
2. 工业检测：用于检测物品形状偏差。
3. 医学影像分析：对比医学影像中的病变轮廓。
4. 形状检索：在数据库中寻找相似形状的对象。