[C++]基于C++opencv结合vibe和sort tracker实现高空抛物实时检测

news2024/10/5 18:34:04

【vibe算法介绍】

ViBe算法是一种高效的像素级视频背景建模和前景检测算法。以下是对该算法的详细介绍：

一、算法原理

ViBe算法的核心思想是通过为每个像素点存储一个样本集，利用该样本集与当前像素值进行比较，从而判断该像素是否属于背景。算法的主要步骤包括背景模型的初始化、前景检测过程和背景模型的更新方法。

  1. 背景模型的初始化：
    • 在初始时刻（如第一帧图像），为每个像素点随机选择其邻域像素的像素值作为背景模型的样本值。这样可以确保背景模型在开始时即具有一定的鲁棒性。
  2. 前景检测过程：
    • 对于后续的图像序列，算法会将每个新的像素值与背景模型中的样本进行比较。
    • 如果新像素值与背景模型中的样本值差异小于预设的阈值，则该像素被判定为背景；否则，被判定为前景。
  3. 背景模型的更新方法：
    • ViBe算法的更新策略具有时间和空间上的随机性。
    • 在时间随机性方面，算法会随机选择一个背景模型进行更新，以模拟像素值随时间变化的不确定性。
    • 在空间随机性方面，算法会在被判定为背景的像素点的邻域中随机选择一个像素值来更新背景模型，以模拟像素值在空间上的变化。

二、算法优点

  1. 内存占用少：由于每个像素只需存储一个样本集，因此内存占用较少。
  2. 性能优越：算法的性能优于混合高斯、参数化方法等传统方法，尤其在处理动态背景时表现出色。
  3. 无参数法：算法无需手动调整参数，可以直接应用于各种场景。
  4. 抗噪能力强：由于采用随机更新策略，算法对噪声具有较强的鲁棒性。

三、算法挑战与限制

  1. Ghost区域：在某些情况下，算法可能会出现误检，将前景物体误判为背景，形成所谓的“Ghost”区域。
  2. 环境变化适应性：算法需要能够适应环境的变化，如光照变化、相机抖动等。
  3. 密集物体检测：对于图像中密集出现的物体（如树叶、树干等），算法的检测效果可能受到一定影响。

综上所述，ViBe算法是一种高效、鲁棒的像素级视频背景建模和前景检测算法，具有广泛的应用前景。然而，在实际应用中仍需注意其挑战与限制，并进行相应的优化和改进。

【sort track算法介绍】

SORT（Simple Online and Realtime Tracking）算法是一种简单、高效且实用的多目标跟踪算法。以下是对SORT算法的介绍，内容将按照清晰的格式分点表示，并尽可能参考文章中的相关数字和信息：

一、算法概述

  • 全称：Simple Online and Realtime Tracking（SORT）
  • 特点：简单、高效、实时性强
  • 应用领域：适用于各种需要实时多目标跟踪的场景，如监控视频分析、自动驾驶汽车感知、无人机追踪等

二、算法原理

1. 核心组件
  • 卡尔曼滤波：用于预测目标在下一帧中的位置。卡尔曼滤波基于前一帧的目标位置和速度来预测当前帧的目标位置，并基于测量值（即检测到的目标位置）来更新预测值，以达到更精确的估计。
  • 匈牙利算法：用于解决数据关联问题，即确定前后两帧中真正匹配的目标。匈牙利算法通过计算前后两帧目标之间的相似度矩阵，并求解该矩阵来找到最佳匹配。
2. 工作流程
  1. 目标检测：使用目标检测器（如Faster R-CNN）在每一帧中检测目标，得到目标框（Detections）。
  2. 预测：使用卡尔曼滤波器预测当前帧的轨迹（Tracks）。
  3. 匹配：将目标框（Detections）和轨迹（Tracks）进行IOU（Intersection over Union）匹配。匹配结果分为三种：
    • Matched Track：成功匹配的目标和轨迹。
    • Unmatched Tracks：未能成功匹配的目标轨迹，被认为是失配。如果失配持续了T次（T是一个预设的阈值），该目标ID将从待跟踪目标中删除。
    • Unmatched Detections：未能成功匹配到轨迹的目标框，需要为其分配一个新的轨迹。
  4. 更新：卡尔曼滤波根据匹配的轨迹状态预测下一帧的目标框状态，并更新所有轨迹的状态。

三、算法特点

  • 实时性强：由于算法复杂度低，SORT算法可以实现高速跟踪，据参考文章所述，追踪器可以实现260Hz的速度。
  • 简单易用：代码结构清晰，依赖库少，便于理解和集成到其他项目中。
  • 兼容性强：可在Windows和Linux环境下运行，适用范围广。
  • 灵活性：提供参数调整，适应不同场景的需求。

四、优缺点

  • 优点：
    • 速度快：处理速度快，适用于实时应用。
    • 准确性高：在没有遮挡的情况下，准确性较高。
  • 缺点：
    • 对遮挡处理不足：当目标被遮挡时，ID切换次数较高，可能导致跟踪不准确。
    • 未考虑目标外观特征：仅使用检测框的位置和大小进行目标匹配，未考虑目标的外观特征。

五、总结

SORT算法以其简单、高效和实时性强的特点，在多目标跟踪领域具有广泛的应用前景。然而，在实际应用中仍需注意其处理遮挡和目标外观特征方面的限制，并根据具体需求进行相应的优化和改进。

【测试环境】

vs2019

opencv==4.8.0

x64 release(Debug暂时没测试通过)

【部分实现源码】

#define _CRT_SECURE_NO_WARNINGS
#include "tracker.hpp"
#include "trajectory.hpp"
#include "utils.hpp"
#include "vibe_sequential.hpp"
#include <array>
#include <chrono>
#include <cmath>
#include <cstddef>
#include <cstdio>
#include <cstdlib>
#include <memory>
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <stdexcept>
#include <string>
#include <string_view>
#include <thread>
using namespace std;
using namespace cv;
int main(int argc, char* argv[]) {
   

  
    int maxNumBlobs = 64;
    VideoCapture capture("test.mp4");
    if (!capture.isOpened())
        return -1;
    double fps = capture.get(cv::CAP_PROP_FPS);          // 帧率
    int width = capture.get(cv::CAP_PROP_FRAME_WIDTH);   // 视频帧宽度
    int height = capture.get(cv::CAP_PROP_FRAME_HEIGHT); // 视频帧高度
      // Create vibe algorithm instance
    auto vibe = std::make_unique<ViBeSequential>(height, width, 14, 20, 2, 5);
    // Create tracker instance
    auto tracker = std::make_unique<SortTracker>(3, 3);

    auto detections = std::vector<cv::Rect2f>(8);
    cv::Mat fgMask(height, width, CV_8U);
    cv::Mat updateMask(height, width, CV_8U);
    cv::Mat fgBlobLabels(height, width, CV_32S);
    cv::Mat fgBlobCentroids(64, 2, CV_64F);
    cv::Mat fgBlobStats(64, 5, CV_32S);

    // Prepare structure elements for morphological filtering
    cv::Mat se3x3 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 3, 3 });
    cv::Mat se5x5 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 5, 5 });
    cv::Mat se7x7 = cv::getStructuringElement(cv::MORPH_ELLIPSE, { 7, 7 });

    // Prepare runtime measurement
    auto tm = cv::TickMeter();



    while (true)
    {
        Mat frame;
        capture >> frame; // 从相机读取新一帧
        if (frame.empty())
        {
            break;
        }

        /* Segmentation and update. */
        tm.reset();
        tm.start();
        // Run background segmentation with ViBe
        vibe->segment(frame, fgMask);

        // Process update mask
        cv::morphologyEx(fgMask, updateMask, cv::MORPH_OPEN, se3x3);

        // Update ViBe
        vibe->update(frame, updateMask);

        // Post-processing on foreground mask
        cv::morphologyEx(fgMask, fgMask, cv::MORPH_OPEN, se3x3);
        cv::morphologyEx(fgMask, fgMask, cv::MORPH_CLOSE, se5x5);

        tm.stop();

        double vibeProcessTimeMs = tm.getTimeMilli();

        // Find all connected components
        int numFgBlobs = cv::connectedComponentsWithStats(
            fgMask, fgBlobLabels, fgBlobStats, fgBlobCentroids);

        if (numFgBlobs > maxNumBlobs) {
            // Too many blobs, consider this frame invalid

            tracker->clear();
            continue;
        }

        detections.clear();
        for (int i = 1; i < numFgBlobs; i++) {
            auto* blobStat = fgBlobStats.ptr<int>(i);

            int x = blobStat[cv::CC_STAT_LEFT] - 6;
            int y = blobStat[cv::CC_STAT_TOP] - 6;
            int w = blobStat[cv::CC_STAT_WIDTH] + 12;
            int h = blobStat[cv::CC_STAT_HEIGHT] + 12;
            // int a = blobStat[cv::CC_STAT_AREA];

            // Add new bbox
            detections.emplace_back(x, y, w, h);

            // auto color = colors.row(i % colors.rows);
            cv::rectangle(frame, { x, y, w, h }, { 255, 50, 0 }, 1);
        }

        tm.reset();
        tm.start();

        // Update tracker with newly detected bboxes
        tracker->update(detections, frame);

        tm.stop();
        double trackingTimeMs = tm.getTimeMilli();

        std::array<char, 64> str;
        std::sprintf(str.data(),
            "[PROCESS TIME] ViBe: %.2f ms, Tracking: %.2f",
            vibeProcessTimeMs,
            trackingTimeMs);

        // Draw process time measurement result on current frame
        cv::putText(frame,
            str.data(),
            { 12, 30 },
            cv::FONT_HERSHEY_SIMPLEX,
            0.5,
            { 0, 0, 255 },
            1,
            cv::LINE_AA);


        cv::imshow("frame", frame);
        cv::imshow("fgmask", fgMask);
        cv::imshow("update mask", updateMask);

        if (char(waitKey(2)) == 'q')
        {

            break;
        }
    }
    
    capture.release();
    cv::destroyAllWindows();


}

【效果展示】

【视频演示】

基于C++opencv结合vibe和sort tracker实现高空抛物实时检测_哔哩哔哩_bilibili【测试环境】vs2019opencv==4.8.0x64 release(Debug暂时没测试通过)更多信息参考博文：blog.csdn.net/FL1623863129/article/details/139493227, 视频播放量 6、弹幕量 0、点赞数 0、投硬币枚数 0、收藏人数 0、转发人数 0, 视频作者 未来自主研究中心, 作者简介 未来自主研究中心，相关视频：基于onnx模型加密与解密深度学习模型保护方法介绍，使用纯opencv部署yolov8目标检测模型onnx，C++版本yolov8的onnx模型加密方法保护自己模型和版权，将yolov8封装成一个类几行代码完成语义分割任务，使用C#的winform部署yolov8的onnx实例分割模型，使用C#调用libotrch-yolov5模型实现全网最快winform目标检测，Python自动答题脚本刷题，100%正确率，附源码！可刷课！期末再也不用担心挂科了！Python教程Python入门编程入门爬虫代码Python基础安装，C#调用yolov7进行目标检测winform开发，基于yolov8官方目标追踪botsort和bytetrack源码开发视频演示，使用C#部署openvino-yolov5s模型icon-default.png?t=N7T8https://www.bilibili.com/video/BV1zD421g7zR/?vd_source=989ae2b903ea1b5acebbe2c4c4a635ee

【源码下载地址】https://download.csdn.net/download/FL1623863129/89403409

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1794579.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

问题：合规电动自行车国家标准是（） #学习方法#媒体#经验分享

问题：合规电动自行车国家标准是（） #学习方法#媒体#经验分享

问题&#xff1a;合规电动自行车国家标准是&#xff08;&#xff09; A&#xff0e;必须有脚踏能实现人力骑行 B&#xff0e;最高设计车速不大于25km/h C&#xff0e;整车质量不大于55kg D&#xff0e;电机输出功率不大于240w 参考答案如图所示
阅读更多...
【Python报错】已解决ModuleNotFoundError: No module named ‘timm’

【Python报错】已解决ModuleNotFoundError: No module named ‘timm’

成功解决“ModuleNotFoundError: No module named ‘timm’”错误的全面指南 一、引言 在Python编程中&#xff0c;经常会遇到各种导入模块的错误&#xff0c;其中“ModuleNotFoundError: No module named ‘timm’”就是一个典型的例子。这个错误意味着你的Python环境中没有安…
阅读更多...
Windows系统中不同Java版本共存

Windows系统中不同Java版本共存

Windows系统中不同Java版本共存的方法 在Windows系统中&#xff0c;有时我们需要同时运行多个Java应用&#xff0c;而这些应用可能依赖于不同版本的Java Development Kit (JDK) 或 Java Runtime Environment (JRE)。为了实现这种需求&#xff0c;我们需要在Windows中配置多个J…
阅读更多...
『 Linux 』内存管理与文件系统

『 Linux 』内存管理与文件系统

文章目录 交换分区页与页框(页帧)交换分区与内存之间的交换操作系统如何管理内存物理地址转换页号与页内偏移量 内存管理,文件系统与文件管理之间的联系 交换分区 在Linux的安装过程中,用户将会被提示创建一个交换分区; 这是一个特殊的分区,其大小可以由用户根据系统内存需求和…
阅读更多...
Apache POI对Excel进行读写操作

Apache POI对Excel进行读写操作

1、什么是Apache POI ​ Apache POI 是一个处理Miscrosoft Office各种文件格式的开源项目。简单来说就是&#xff0c;我们可以使用 POI 在 Java 程序中对Miscrosoft Office各种文件进行读写操作。一般情况下&#xff0c;POI 都是用于操作 Excel 文件。 Apache POI 的应用场景&…
阅读更多...
动手学深度学习4.6 暂退法-笔记练习（PyTorch）

动手学深度学习4.6 暂退法-笔记练习（PyTorch）

以下内容为结合李沐老师的课程和教材补充的学习笔记&#xff0c;以及对课后练习的一些思考&#xff0c;自留回顾&#xff0c;也供同学之人交流参考。 本节课程地址&#xff1a;丢弃法_哔哩哔哩_bilibili 本节教材地址&#xff1a;4.6. 暂退法&#xff08;Dropout&#xff09;…
阅读更多...
使用python把gif转为图片

使用python把gif转为图片

使用python把gif转为图片 程序思路效果代码 程序思路 打开 GIF 文件。确保输出文件夹存在&#xff0c;如果不存在则创建。获取 GIF 的帧数。遍历每一帧&#xff0c;将其保存为单独的 PNG 图像&#xff0c;并打印保存路径。 效果 把这张派大星gif转为一张张图片&#xff1a; …
阅读更多...
小程序 UI 风格美不胜收

小程序 UI 风格美不胜收

小程序 UI 风格美不胜收 小程序 UI 风格美不胜收
阅读更多...
系统安全及应用11

系统安全及应用11

一个新的服务器到手之后&#xff0c;部署服务器的初始化 1、配置IP地址 网关 dns解析&#xff08;static&#xff09;内网和外网 2、安装源外网&#xff08;在线即可&#xff09;&#xff0c;内网&#xff08;只能用源码包编译安装&#xff09; 3、磁盘分区&#xff0c;lvm …
阅读更多...
ICPC2024 邀请赛西安站（7/8/13）

ICPC2024 邀请赛西安站（7/8/13）

心得 [ICPC2024 Xian I] ICPC2024 邀请赛西安站重现赛 - 比赛详情 - 洛谷 7表示赛时ac了7个&#xff0c;8表示含补题总共ac数&#xff0c;13表示题目总数 题目 M. Chained Lights 打表&#xff0c;发现只有k1是YES //#include <bits/stdc.h> #include<iostream&…
阅读更多...
亮数据代理IP助力高效数据采集

亮数据代理IP助力高效数据采集

文章目录 &#x1f4d1;前言一、爬虫数据采集痛点二、代理IP解决爬虫痛点2.1 为什么可以2.2 本篇采用的代理IP 四、零代码获取数据4.1 前置背景4.2 亮数据浏览器自动抓取数据4.3 使用步骤&#xff1a; 五、数据集5.1 免费样本5.2 定制数据集 &#x1f324;️个人小结 &#x1f…
阅读更多...
（uniapp）简单带动画的tab切换效果

（uniapp）简单带动画的tab切换效果

效果图 代码 <template><view class"tabBox"><view :style"{transform: translateX(${translateX})}" class"whiteBox"></view><view click"changeTab(k)" class"itemBox" v-for"(v,k) in…
阅读更多...
程序员职业素养：AI新时代下的机遇与挑战

程序员职业素养：AI新时代下的机遇与挑战

目录 一、引言二、程序员职业素养的五大要点1. 技术能力2. 沟通能力3. 团队合作4. 责任心5. 敬业精神 三、实际案例解析四、程序员职业素养在实际工作中的应用五、AI新时代的程序员的职业发展建议六、总结七、结语 一、引言 在当今这个科技飞速发展的时代&#xff0c;程序员这…
阅读更多...
Verba：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等！

Verba：终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等！

原文链接&#xff1a;&#xff08;更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号&#xff01;&#xff09; Verba&#xff1a;终极 RAG 引擎 - 语义搜索、嵌入、矢量搜索等&#xff01; &#x1f31f;在本文中&#xff0c;我们将深入探讨 Verba&am…
阅读更多...
Isaac Lab CartPole实验（摄像头版本）

Isaac Lab CartPole实验（摄像头版本）

Isaac Lab安装可以看这个教程&#xff1a;http://t.csdnimg.cn/SN7duhttp://t.csdnimg.cn/SN7du 1. 问题定义与建模 问题描述&#xff1a;CartPole问题是一个经典的强化学习问题&#xff0c;cartpole 由 cart和pole构成&#xff0c;其中一个小车&#xff08;Cart&#xff09;上…
阅读更多...
深入解析 Web 开发中的强缓存与协商缓存机制

深入解析 Web 开发中的强缓存与协商缓存机制

在 Web 开发中，缓存机制是提高页面加载速度和用户体验的重要技术。缓存分为两种主要类型：强缓存和协商缓存。本文将详细介绍这两种缓存机制的原理、实现方式及其区别，并演示如何在 <meta> 元素中和 Nginx 服务器中进行缓存控制。 强缓存 强缓存（Strong Caching）是指…
阅读更多...
【机器学习】——驱动智能制造的青春力量，优化生产、预见故障、提升质量

【机器学习】——驱动智能制造的青春力量，优化生产、预见故障、提升质量

目录 一.优化生产流程 1.1 数据收集 1.2 数据预处理 1.3 模型训练 1.4 优化建议 1.5 示例代码 二.预测设备故障 2.1 数据收集 2.2 数据预处理 2.3 模型训练 2.4 故障预测 2.5 示例代码 三.提升产品质量 3.1 数据收集 3.2 数据预处理 3.3 模型训练 3.4 质量提升…
阅读更多...
X-Caps

X-Caps

用于对视觉属性进行编码的胶囊 补充信息 数据集太大&#xff0c;不建议复现
阅读更多...
poi4.1导出excel支持xlx,xlsx格式，解决导出execl提示‘文件已经被损坏，无法打开‘

poi4.1导出excel支持xlx,xlsx格式，解决导出execl提示‘文件已经被损坏，无法打开‘

目录 一.maven jar包引入 二.xls格式 三.xlsx格式 一.maven jar包引入 注意&#xff0c;如果要用到xlsx格式&#xff0c;需要导入poi-ooxml <!-- https://mvnrepository.com/artifact/org.apache.poi/poi fx--><!-- 使用xls格式时,只要导入poi-version-yyyymmdd.ja…
阅读更多...
# 全面解剖 消息中间件 RocketMQ-（4）

# 全面解剖 消息中间件 RocketMQ-（4）

全面解剖 消息中间件 RocketMQ-&#xff08;4&#xff09; 一、RocketMQ 顺序消息分析 1、消息有序&#xff1a;指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ 可以严格的保证消息有序&#xff0c;可以分为分区有序或者全局有序。 2、顺序消费的原理解析 在默认的情…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023