实现思路

• 使用C++进行实现，开发平台是clion，并没有使用深度学习，使用opencv进行开发

配置opencv

• 一开始就出来幺蛾子，之前装好的opencv怎么都找不到包，弄了一个小时，夹着红框后面的三句，告诉clion我安装的opencv包的具体位置，可能是因为我之前没有编译成功，直接间别人编译好的直接下载下来的，不过我为什么不用python上面的opencv那。

• 

位置剪裁

• 相机位置固定，拍摄的位置固定，背景干扰很少，只需要保存红框右半部分的内容即可，左半部分去除。

实现代码

#include <opencv2/opencv.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/core/core.hpp>
#include <iostream>
#include <fstream>

using namespace std;
using namespace cv;


struct RectPoint{
    int x,y;
    int width,height;
    RectPoint(int x,int y,int width,int height):x(x),y(y),width(width),height(height){}
};

void ClipImage(String ImagePath,RectPoint rect,String TargetPath){

    // 声明Mat保存图片
    Mat img;
    Rect m_select;
    string line;

    // 判定文件存在
    ifstream input_file(ImagePath);
    if (!input_file.is_open()) {
        cerr << "Could not open the file - '"
             << ImagePath << "'" << endl;
        return;
    }

    while(getline(input_file,line)){
        // 获取文件后缀名，并进行拼接成目标文件名
        string ImageName = line.substr(line.find_last_of('\\',line.size())+1);
        string TargetName = TargetPath;
        TargetName.append(ImageName);

        // 读取并剪裁图片到特定大小保存
        img = imread(line);
        m_select = Rect(rect.x,rect.y,rect.width,rect.height);
        Mat ROI = img(m_select);
        imwrite(TargetName,ROI);

    }
}

int main()
{
    String TargetImage = R"(E:\CProject\impurityDetection\ClippedImage\)";
    String SourceImage = R"(E:\CProject\impurityDetection\image\path.txt)";
    ClipImage(SourceImage,RectPoint(600,0,1780,1480),TargetImage);
    return 0;
}

自适应中值滤波

• 自适应中值滤波，是为了去除照相机的噪声同时，又不损坏原来的杂质信息，这里使用自适应中值滤波，具体实现如下。

实现代码

void Convolution(Mat &SourceImage,vector<int> &pixels,int x,int y ,int border){


    for (int k = -border; k <= border; k++)
    {
        for (int l = -border; l <= border; l++)
        {
            pixels.push_back(SourceImage.at<uchar>(x+k, y+l));
        }
    }
}

Mat SelfAdaptMedianFilter(const Mat& SourceImage){
    // 复制原图
    Mat result = SourceImage.clone();
    // 掩膜大小为3
    int ksize = 3;
    int border = ksize /2 ;

    for (int i = border; i < SourceImage.rows - border; i++)
    {
        for (int j = border; j < SourceImage.cols - border; j++)
        {
            while(1){
                // 提取当前像素的邻域
                vector<int> pixels;
                Convolution(result, pixels, i, j, border);

                // 对邻域像素值进行排序
                sort(pixels.begin(), pixels.end());

                // 取中值作为当前像素的新值
                int median = pixels[pixels.size() / 2];
                int PMax = pixels[pixels.size() - 1];
                int PMin = pixels[0];

                //判定是否为异常值
                if (median == PMax || median == PMin) {
                    // 掩膜再加2，重新计算
                    ksize += 2;
                    if (ksize + 2 > Nmax) {
                        result.at<uchar>(i, j) = median;
                        break;
                    }else{
                        // 判定传入的值，是否出现越界的情况
                        if((i - ksize / 2 < 0 || i + ksize / 2 < SourceImage.cols) ||
                             j - ksize / 2 < 0 || j + ksize / 2 > SourceImage.rows)
                            result.at<uchar>(i,j) = (PMax + PMin) / 2;
                    }
                } else {
                    //中值不是极值，判定原像素点是不是极值，然后在进行输出
                    if (result.at<uchar>(i, j) == PMax || result.at<uchar>(i, j) == PMin)
                        result.at<uchar>(i,j) = median;
                    break;
                }

            }
        }
    }

    return result;
}

动态范围增强

• 这里就是图像的直方图均衡化，使得整个模型的图片颜色对比度更大，显示出更多的细节。

实现代码

   //对图片进行直方图均衡化，凸显出前后差异
        Mat equalized;
        // 转成二值化，并变为直方图均衡化
        cvtColor(ROI, equalized, COLOR_BGR2GRAY);
        equalizeHist(equalized, equalized);

形态学处理

• 膨胀操作 ：通过增加图像中的物体的像素数量，使得物体的大小和面积增加，边缘变得更加明显，改变了原来字体粗细

• 腐蚀操作 ：在卷积核大小中对图片进行卷积。取图像中（3 * 3）区域内的最小值。可以消除图像中的毛刺和噪声。改变了原来字体粗细
  
• 开运算 ：先腐蚀运算，在进行膨胀运算。在不损害字体信息的情况下，去除了噪声和毛刺。通过调整卷积可以进一步减少噪声

• 闭运算 ：先膨胀运算，在进行腐蚀运算。在不去除任何噪声的情况下，补全了缺失的信息。

• 这里选择开运算，具体实现代码如下，别的可以参考知乎链接

实现代码

   // 对图像进行开运算，
        Mat morphologied;
        int size = 3;
        // shape是内核的形状，size是内核的尺寸，锚点的位置，对于矩形来说，全部都是 1 ，不用调整
        cv::Mat element = cv::getStructuringElement(cv::MORPH_RECT,
                                                    cv::Size(2*size + 1, 2*size+1),
                                                    cv::Point(size, size));
        cout<<element<<endl;
        morphologyEx(equalized, morphologied, cv::MORPH_OPEN, element);

图片预处理效果

计算帧差

• 主要有两种方法，分别是静态参考帧差分法和连续帧帧差法，下图为两个效果，很明显的可以就看到连续帧帧差法的效果更好，常见的静态帧是将多个帧进行平均，然后以平均之后的帧作为参考帧，然后后面每帧都是和当前帧作比较，没有动作的连续性。

连续帧帧差法原理和实现代码

• 实现原理如下图
  

• 使用absdiff函数，具体描述如下，计算frame1和frame2的帧差，然后将结果保存到framediff中

cv::Mat frameDiff;
cv::absdiff(frame1, frame2, frameDiff);

实现代码

//计算帧差，并将最终的结果进行返回
Mat DifFrame(Mat PreFrame,Mat CurFrame,Mat NextFrame){

    //计算帧差
    Mat FrameDiffPre , FrameDiffNext;
    absdiff(PreFrame,CurFrame,FrameDiffPre);
    absdiff(CurFrame,NextFrame,FrameDiffNext);

    // 分别进行二值化，设定二值化的阈值
    Mat BinImgPre , BinImgNext;
    threshold(FrameDiffPre,BinImgPre,128,255,cv::THRESH_BINARY);
    threshold(FrameDiffNext,BinImgPre,128,255,cv::THRESH_BINARY);

    // 将图片进行与运算，然后将结果进行输出
    Mat ResFrame;
    bitwise_and(FrameDiffPre,FrameDiffNext,ResFrame);

    //返回最终处理过后的帧
    return ResFrame;

}

K近邻实现

基本介绍

• 思路 ： 将样本在特征空间中，根据一定的分类方法，归类于与该样本最相似的K个样本中大多数的那一类。需要一部分已经标注过的样本，然后将未标注过的样本进行分类。
• 特点 ：

实现过程

参考

• Opencv 图像处理之膨胀与腐蚀 【https://zhuanlan.zhihu.com/p/110330329】