[C#]OpenCvSharp使用帧差法或者三帧差法检测移动物体

关于C++版本帧差法可以参考博客

[C++]OpenCV基于帧差法的运动检测-CSDN博客https://blog.csdn.net/FL1768317420/article/details/137397811?spm=1001.2014.3001.5501

我们将参考C++版本转成opencvsharp版本。

帧差法，也叫做帧间差分法，这里引用百度百科上的一段定义：

帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和摄像机移动的情况。当监控场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波。

最简单的帧差法就是二帧差分法，将视频流中的前后两帧图像转换为灰度图像，再经过高斯模糊消除噪声干扰，然后将两帧图像进行相减操作得到两帧图像之间的差异区域，再对差异图像进行二值分割把差异区域作为前景、不变区域作为背景，并且进行开运算操作来消除一些微小干扰。这样，就得到了两帧图像中明显不同的区域，也就是运动的目标物体。下面对上述博客C++版本做解读：

这段C++ OpenCV代码实现了一个简单的运动检测算法，采用两帧差法来识别视频中的运动区域。以下是代码逐段解读：

1. 初始化视频捕获器


VideoCapture capture;
capture.open("D:\\opencv_c++\\opencv_tutorial\\data\\images\\bike.avi");
这段代码创建了一个VideoCapture对象capture，用于打开和读取视频文件。这里尝试打开位于指定路径的bike.avi视频文件。

2. 检查视频是否成功打开


if (!capture.isOpened())
{
    return 0;
}
使用capture.isOpened()检查视频文件是否成功打开。如果未能成功打开（返回false），则立即结束程序并返回值0。

3. 定义所需图像变量


Mat pre_frame, current_frame, pre_gray, current_gray, pre_gaus, current_gaus;
定义一系列Mat对象（OpenCV中的多通道图像容器），用于存储不同处理阶段的图像数据：

pre_frame 和 current_frame 分别存储前一帧和当前帧的彩色图像。
pre_gray 和 current_gray 存储对应的灰度图像。
pre_gaus 和 current_gaus 存储经过高斯模糊处理的灰度图像。
4. 读取第一帧并进行预处理


capture.read(pre_frame);
cvtColor(pre_frame, pre_gray, COLOR_BGR2GRAY);
GaussianBlur(pre_gray, pre_gaus, Size(), 5, 5);
首先从视频中读取第一帧到pre_frame。接着，使用cvtColor函数将其转换为灰度图像并存储在pre_gray中。最后，对pre_gray应用高斯模糊（核大小为5x5），结果存放在pre_gaus。

5. 循环处理后续帧


while (capture.read(current_frame))
{
    // ... 处理代码 ...
}
进入主循环，每次迭代从视频中读取下一帧至current_frame。当无法再读取到新帧时（即视频播放完毕），循环结束。

6. 当前帧预处理


cvtColor(current_frame, current_gray, COLOR_BGR2GRAY);
GaussianBlur(current_gray, current_gaus, Size(), 5, 5);
对当前帧执行与第一帧相同的预处理步骤：转换为灰度图像（current_gray）并应用高斯模糊（current_gaus）。

7. 计算两帧差分


Mat sub_gray, sub_binary, sub_open;
subtract(current_gaus, pre_gaus, sub_gray);
threshold(sub_gray, sub_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
计算current_gaus与pre_gaus之间的像素差值，结果存储在sub_gray。然后，对sub_gray应用二值化阈值处理（包括Otsu自适应阈值），得到运动区域的二值图像sub_binary。

8. 形态学开运算


Mat kernel = getStructuringElement(MORPH_RECT, Size(5, 5));
morphologyEx(sub_binary, sub_open, MORPH_OPEN, kernel, Point(-1, -1), 1, 0);
创建一个大小为5x5的矩形结构元素kernel。接着，对sub_binary进行形态学开运算（去除小噪声），输出结果保存在sub_open。

9. 显示结果


imshow("sub_open", sub_open);
imshow("current_frame", current_frame);
使用imshow函数分别显示运动区域检测结果sub_open和当前帧原始彩色图像current_frame。

10. 更新前一帧信息

cpp
swap(pre_gaus, current_gaus);
使用swap函数交换pre_gaus和current_gaus的内容，使得pre_gaus存储当前帧高斯模糊后的灰度图像，为下一次循环做好准备。

11. 检查用户输入以决定是否退出


char ch = cv::waitKey(20);
if (ch == 27)
{
    break;
}
waitKey(20)函数等待用户按键，同时设置超时时间为20毫秒。若在该时间内接收到按键事件，返回按键的ASCII码；否则返回-1。这里检查是否按下Esc键（ASCII码为27），如果是，则跳出循环，结束视频处理。

综上所述，这段代码实现了基于两帧差法的运动检测算法，通过对连续视频帧进行灰度化、高斯模糊、差分、二值化、形态学开运算等步骤，提取出运动区域并在窗口中实时显示，同时允许用户按Esc键随时停止处理。

三帧差分法是将连续的三帧图像，分别进行转灰度图、高斯模糊消除噪声干扰，然后进行逐帧相减，也就是后一帧图像减去当前帧图像、当前帧图像减去前一帧图像，从而得到两张差异图像。再将得到的两个差值图像进行与操作，得到共同的差异区域，最后通过开运算操作消除微小干扰。这样就得到了三帧图像间的明显差异区域，也就是运动的目标物体。

而且二帧差分法对于微小运动物体的检测能力比较差，因为如果在两帧图像之间变化太小，就很难被检测出来。而三帧差分法利用连续三帧图像的差异结果，能够提高对微小运动物体的检测能力，同时增强对噪声、光照等因素的抗干扰能力。以下是对C++代码解读：

这段C++ OpenCV代码同样实现了一个基于两帧差法的运动检测算法，但与之前提供的代码相比，它采用了双缓冲机制，即同时保留两前一帧的信息，以增强对运动检测的稳定性。以下是详细解读：

1. 初始化视频捕获器

cpp
VideoCapture capture;
capture.open("D:\\opencv_c++\\opencv_tutorial\\data\\images\\bike.avi");
创建一个VideoCapture对象capture，用于打开并读取视频文件。这里尝试打开位于指定路径的bike.avi视频文件。

2. 检查视频是否成功打开

cpp
if (!capture.isOpened())
{
    return 0;
}
使用capture.isOpened()检查视频文件是否成功打开。如果未能成功打开（返回false），则立即结束程序并返回值0。

3. 定义所需图像变量

cpp
Mat pre_frame1, pre_frame2, current_frame,
    pre_gray1, pre_gray2, current_gray,
    pre_gaus1, pre_gaus2, current_gaus;
定义一系列Mat对象，用于存储不同处理阶段的图像数据：

pre_frame1 和 pre_frame2 分别存储最近两帧的彩色图像。
current_frame 存储当前帧的彩色图像。
pre_gray1 和 pre_gray2 存储对应的灰度图像。
current_gray 存储当前帧的灰度图像。
pre_gaus1 和 pre_gaus2 存储最近两帧经过高斯模糊处理的灰度图像。
current_gaus 存储当前帧经过高斯模糊处理的灰度图像。
4. 读取前两帧并进行预处理

cpp
capture.read(pre_frame1);
capture.read(pre_frame2);

cvtColor(pre_frame1, pre_gray1, COLOR_BGR2GRAY);
cvtColor(pre_frame2, pre_gray2, COLOR_BGR2GRAY);

GaussianBlur(pre_gray1, pre_gaus1, Size(), 10, 0);
GaussianBlur(pre_gray2, pre_gaus2, Size(), 10, 0);
从视频中读取前两帧分别存入pre_frame1和pre_frame2。对这两帧进行灰度化处理后分别存储在pre_gray1和pre_gray2，接着对灰度图像应用高斯模糊（核大小为10x10），结果分别存放在pre_gaus1和pre_gaus2。

5. 主循环处理后续帧

cpp
while (capture.read(current_frame))
{
    // ... 处理代码 ...
}
进入主循环，每次迭代从视频中读取下一帧至current_frame。当无法再读取到新帧时（即视频播放完毕），循环结束。

6. 当前帧预处理

cpp
cvtColor(current_frame, current_gray, COLOR_BGR2GRAY);
GaussianBlur(current_gray, current_gaus, Size(), 10, 0);
对当前帧执行与前两帧相同的预处理步骤：转换为灰度图像（current_gray）并应用高斯模糊（current_gaus）。

7. 计算两帧差分

cpp
Mat diff1, diff2, diff;

subtract(pre_gaus2, pre_gaus1, diff1);
subtract(current_gaus, pre_gaus2, diff2);
计算pre_gaus2与pre_gaus1以及current_gaus与pre_gaus2之间的像素差值，结果分别存储在diff1和diff2。

8. 差分图像二值化

cpp
Mat diff1_binary, diff2_binary;

threshold(diff1, diff1_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
threshold(diff2, diff2_binary, 0, 255, THRESH_BINARY | THRESH_OTSU);
对diff1和diff2分别应用二值化阈值处理（包括Otsu自适应阈值），得到运动区域的二值图像diff1_binary和diff2_binary。

9. 逻辑与操作合并差分结果

cpp
bitwise_and(diff1_binary, diff2_binary, diff);
对diff1_binary和diff2_binary进行逻辑与（AND）操作，仅保留两者都为运动区域的像素，生成更稳定的运动检测结果，存储在diff中。

10. 形态学开运算

cpp
Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
morphologyEx(diff, diff, MORPH_OPEN, kernel, Point(-1, -1), 1, 0);
创建一个大小为3x3的矩形结构元素kernel。接着，对diff进行形态学开运算（去除小噪声），输出结果仍保存在diff。

11. 显示结果

cpp
imshow("diff", diff);
imshow("current_frame", current_frame);
使用imshow函数分别显示运动区域检测结果diff和当前帧原始彩色图像current_frame。

12. 更新前两帧信息

cpp
pre_gaus1 = pre_gaus2.clone();
pre_gaus2 = current_gaus.clone();
使用clone函数复制pre_gaus2和current_gaus的内容，使得pre_gaus1和pre_gaus2分别存储前两帧高斯模糊后的灰度图像，为下一次循环做好准备。

13. 检查用户输入以决定是否退出

cpp
char ch = cv::waitKey(20);
if (ch == 27)
{
    break;
}
waitKey(20)函数等待用户按键，同时设置超时时间为20毫秒。若在该时间内接收到按键事件，返回按键的ASCII码；否则返回-1。这里检查是否按下Esc键（ASCII码为27），如果是，则跳出循环，结束视频处理。

总结：这段代码通过双缓冲机制（同时保留两前一帧信息）实现了一种改进的基于两帧差法的运动检测算法。算法流程包括读取帧、预处理、差分计算、二值化、逻辑与操作、形态学开运算等步骤，最终提取出稳定运动区域并在窗口中实时显示，同时允许用户按Esc键随时停止处理。

知道上面步骤我们可以很轻松翻译成opencvsharp代码

【效果展示】