Qt编写视频监控系统70-0SD标签和图形信息(支持写入到文件)

news2024/9/22 11:24:26

一、前言

作为一个完整的视频监控系统,用户还需要自定义一些OSD标签信息显示在对应通道上面,而且不止一个OSD标签信息,位置可以在四个角或者指定坐标显示。最开始本系统设计的时候,由于本人擅长的是painter绘制,所以直接采用的painter绘制贴在视频控件上,顶层放了个cover窗体覆盖在上面,后面发现这种机制并不能将OSD标签信息存储到视频文件,而且弊端多,不是源头绘制的,相当于和视频源无关,当切换等比例缩放等图片效果时,仅仅是在cover窗体上能看到,所以设置的标签位置看起来怪怪的,当然这种机制也是有部分场景需要的,所以在重新设计标签和图形绘制功能的时候,这块功能也需要保留。

如何能够从源头实现OSD标签和图形信息,则必须用到滤镜这个东西,在ffmpeg中对应的是avfilter模块,也可以说是特效库,可以实现各种特效比如色调/模糊/水平翻转/裁剪/加方框/叠加文字等功能,这些特效是直接应用在源头视频数据帧avframe上的,意味着保存视频文件的代码根本不用修改,直接就可以把这些特效存储到文件,所以在一些智能算法厂家中,识别到的人员信息以及方框都会通过两种策略发送出来,一种是源头滤镜加工好,同时还会以文本信息加在视频流中,让用户自己解析绘制,这样就涵盖到了所有的情形。

ffmpeg滤镜的基本步骤:

  • avfilter_get_by_name 获取要使用的滤镜
  • avfilter_inout_alloc 创建输入输出滤镜参数
  • avfilter_graph_alloc 创建滤镜容器
  • avfilter_graph_create_filter 创建输入输出滤镜
  • av_opt_set_int_list 设置输出滤镜格式
  • outputs->name/outputs->filter_ctx… 设置滤镜的参数
  • avfilter_graph_parse_ptr 初始化滤镜
  • avfilter_graph_config 应用滤镜配置
  • avfilter_free 释放滤镜对象
  • avfilter_graph_free 释放滤镜容器

貌似滤镜一旦设置好以后就不允许通过参数修改,比如设置了一个文字水印 drawtext=text=‘hello’:fontsize=30:fontcolor=#ffffff:x=10:y=10 ,想要修改这个内容,滤镜相关类没有提供对应的函数,需要先把之前的滤镜资源释放,然后重新创建,相当于这个过程来一遍,那是不是又会担心效率问题?而且矩形区域很多的时候,都是经常切换滤镜的,性能上多多少少会占用一些CPU,但是应用起来还是非常快的,几乎看不到切换的停顿或者空白效果。详细的滤镜参数参考官方说明 https://ffmpeg.org/ffmpeg-filters.html 。

还有个注意点就是,如果是中文的文字水印,必须指定字体文件,让ffmepg能够找到对应字体文件,一般建议将字体文件放到可执行文件同一目录下,linux上需要对应的ffmpeg库编译的时候指定freetype否则不能用drawtext文字水印。还有个注意点就是发现硬解码后NV12格式的frame无法正常应用滤镜,不知道各位有没有什么好的办法,除了又转换成yuv420p以外(转换又要耗费cpu,失去了硬解码降低cpu占用的初衷)。

二、效果图

图示中随机生成的文字和矩形水印
在这里插入图片描述

三、体验地址

  1. 体验地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码:01jf 文件名:bin_video_system。
  2. 国内站点:https://gitee.com/feiyangqingyun
  3. 国际站点:https://github.com/feiyangqingyun
  4. 个人主页:https://blog.csdn.net/feiyangqingyun
  5. 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
  6. 在线文档:https://feiyangqingyun.gitee.io/qwidgetdemo/video_system/

四、相关代码

#include "ffmpegfilter.h"
#include "ffmpeghelper.h"
#include "filterhelper.h"

QString FFmpegFilter::getFilter(const FilterData &filterData)
{
    //滤镜内容字符串集合
    QStringList listFilter;
    bool hardware = (filterData.formatIn == AV_PIX_FMT_NV12);
    if (filterData.rotate != 0) {
        QString filter = FilterHelper::getFilter(filterData.rotate, hardware);
        listFilter << filter;
    }

    //加入标签信息
    foreach (OsdInfo osd, filterData.listOsd) {
        QString filter = FilterHelper::getFilter(osd, hardware);
        if (!filter.isEmpty()) {
            listFilter << filter;
        }
    }

    //加入图形信息
    foreach (GraphInfo graph, filterData.listGraph) {
        QString filter = FilterHelper::getFilter(graph, hardware);
        if (!filter.isEmpty()) {
            listFilter << filter;
        }
    }

    //加入其他滤镜
    QString filter = FilterHelper::getFilter();
    if (!filter.isEmpty()) {
        listFilter << filter;
    }

    return listFilter.join(",");
}

int FFmpegFilter::initFilter(AbstractVideoThread *thread, AVStream *stream, AVCodecContext *avctx, FilterData &filterData)
{
    int result = -1;
    if (!filterData.enable) {
        return result;
    }

    //貌似硬解码不支持滤镜
    if (filterData.formatIn == AV_PIX_FMT_NV12) {
        return result;
    }

    //先释放相关资源
    freeFilter(filterData);

    //获取滤镜字符串
    QString filters = getFilter(filterData);
    if (filters.isEmpty()) {
        return result;
    }

    //输入帧序列的参数信息
    QStringList listArg;
    listArg << QString("video_size=%1x%2").arg(avctx->width).arg(avctx->height);
    listArg << QString("pix_fmt=%1").arg(avctx->pix_fmt);
    listArg << QString("time_base=%1/%2").arg(stream->time_base.num).arg(stream->time_base.den);
    listArg << QString("pixel_aspect=%1/%2").arg(avctx->sample_aspect_ratio.num).arg(avctx->sample_aspect_ratio.den);
    QString args = listArg.join(":");

    //输入帧格式
    enum AVPixelFormat pix_fmts[] = {filterData.formatIn, AV_PIX_FMT_NONE};

    //获取要使用的滤镜
    const AVFilter *filterSrc = avfilter_get_by_name("buffer");
    const AVFilter *filterSink = avfilter_get_by_name("buffersink");

    //创建输入输出滤镜参数
    AVFilterInOut *inputs = avfilter_inout_alloc();
    AVFilterInOut *outputs = avfilter_inout_alloc();

    //创建滤镜容器
    filterData.filterGraph = avfilter_graph_alloc();
    if (!inputs || !outputs || !filterData.filterGraph) {
        result = AVERROR(ENOMEM);
        goto end;
    }

    //创建输入滤镜
    result = avfilter_graph_create_filter(&filterData.filterSrcCtx, filterSrc, "in", args.toUtf8().constData(), NULL, filterData.filterGraph);
    if (result < 0) {
        thread->debug("滤镜处理", QString("创建输入滤镜失败: %1").arg(FFmpegHelper::getError(result)), "");
        goto end;
    }

    //创建输出滤镜
    result = avfilter_graph_create_filter(&filterData.filterSinkCtx, filterSink, "out", NULL, NULL, filterData.filterGraph);
    if (result < 0) {
        thread->debug("滤镜处理", QString("创建输出滤镜失败: %1").arg(FFmpegHelper::getError(result)), "");
        goto end;
    }

    //设置输出滤镜格式
    result = av_opt_set_int_list(filterData.filterSinkCtx, "pix_fmts", pix_fmts, filterData.formatOut, AV_OPT_SEARCH_CHILDREN);
    if (result < 0) {
        thread->debug("滤镜处理", QString("设置输出滤镜格式: %1").arg(FFmpegHelper::getError(result)), "");
        goto end;
    }

    //设置滤镜的参数
    outputs->name = av_strdup("in");
    outputs->filter_ctx = filterData.filterSrcCtx;
    outputs->pad_idx = 0;
    outputs->next = NULL;

    inputs->name = av_strdup("out");
    inputs->filter_ctx = filterData.filterSinkCtx;
    inputs->pad_idx = 0;
    inputs->next = NULL;

    //初始化滤镜
    result = avfilter_graph_parse_ptr(filterData.filterGraph, filters.toUtf8().constData(), &inputs, &outputs, NULL);
    if (result < 0) {
        thread->debug("滤镜处理", QString("初始化滤镜失败: %1").arg(FFmpegHelper::getError(result)), "");
        goto end;
    }

    //应用滤镜配置
    result = avfilter_graph_config(filterData.filterGraph, NULL);
    if (result < 0) {
        thread->debug("滤镜处理", QString("应用滤镜配置失败: %1").arg(FFmpegHelper::getError(result)), "");
        goto end;
    }

end:
    //释放对应的输入输出
    avfilter_inout_free(&inputs);
    avfilter_inout_free(&outputs);
    filterData.isOk = (result >= 0);
    return result;
}

void FFmpegFilter::freeFilter(FilterData &filterData)
{
    if (filterData.isOk) {
        filterData.enable = true;
        filterData.init = true;
        filterData.isOk = false;

        avfilter_free(filterData.filterSrcCtx);
        avfilter_free(filterData.filterSinkCtx);
        avfilter_graph_free(&filterData.filterGraph);
        filterData.filterSrcCtx = NULL;
        filterData.filterSinkCtx = NULL;
        filterData.filterGraph = NULL;
    }
}

五、功能特点

(一)、软件模块

  1. 视频监控模块,各种停靠小窗体子模块,包括设备列表、图文警情、窗口信息、云台控制、预置位、巡航设置、设备控制、悬浮地图、网页浏览等。
  2. 视频回放模块,包括本地回放、远程回放、设备播放、图片回放、视频上传等。
  3. 电子地图模块,包括图片地图、在线地图、离线地图、路径规划等。
  4. 日志查询模块,包括本地日志、设备日志等。
  5. 系统设置模块,包括系统设置(基本设置、视频参数、数据库设置、地图配置、串口配置等)、录像机管理、摄像机管理、轮询配置、录像计划、用户管理等。

(二)、基础功能

  1. 支持各种视频流(rtsp、rtmp、http等)、视频文件(mp4、rmvb、avi等)、本地USB摄像机播放。
  2. 支持多画面切换,包括1、4、6、8、9、13、16、25、36、64画面切换。
  3. 支持全屏切换,多种切换方式包括鼠标右键菜单、工具栏按钮、快捷键(alt+enter全屏,esc退出全屏)。
  4. 支持视频轮询,包括1、4、9、16画面轮询,可设置轮询分组(轮询预案)、轮询间隔、码流类型等。
  5. 支持onvif协议,包括设备搜索、云台控制、预置位、设备控制(图片参数、校对时间、系统重启,抓拍图片等)。
  6. 支持权限管理,不同的用户可以对应不同的模块权限,比如删除日志、关闭系统等。
  7. 数据库支持多种,包括sqlite、mysql、sqlserver、postgresql、oracle、人大金仓等。
  8. 本地USB摄像机支持设置分辨率、帧率等参数。
  9. 所有停靠模块都自动生成对应的菜单用来控制显示和隐藏,在标题栏右键可以弹出。
  10. 支持显示所有模块、隐藏所有模块、复位普通布局、复位全屏布局。
  11. 双击设备弹出实时预览视频,支持图片地图、在线地图、离线地图等。
  12. 摄像机节点拖曳到对应窗体播放视频,同时支持拖曳本地文件直接播放。
  13. 删除视频支持鼠标右键删除、悬浮条关闭删除、拖曳到视频监控面板外删除等多种方式。
  14. 图片地图上设备按钮可自由拖动,自动保存位置信息。百度地图上可以鼠标单击获取经纬度信息,用来更新设备位置。
  15. 视频监控面板窗体中任意通道支持拖曳交换,瞬间响应。
  16. 封装了百度地图,视图切换,运动轨迹,设备点位,鼠标按下获取经纬度等。
  17. 双击节点、拖曳节点、拖曳窗体交换位置等操作,均自动更新保存最后的播放地址,下次软件打开自动应用。
  18. 右下角音量条控件,失去焦点自动隐藏,音量条带静音图标。
  19. 支持视频截图,可指定单个或者对所有通道截图,底部小工具栏也有截图按钮。
  20. 支持超时自动隐藏鼠标指针、自动全屏机制。
  21. 支持onvif云台控制,可上下左右移动云台摄像机,包括复位和焦距调整等。
  22. 支持onvif预置位,可以添加、删除、修改预置位,可以调用起始位。
  23. 支持onvif图像参数设置,包括明亮度、对比度、饱和度、尖锐度等。
  24. 支持onvif其他操作,包括抓图、网络设置、校时、重启、事件订阅等。
  25. 支持任意onvif摄像机,包括但不限于海康、大华、宇视、天地伟业、华为等。
  26. 可保存视频,可选定时存储或者单文件存储,可选存储间隔时间。
  27. 可设置视频流通信方式tcp+udp,可设置视频解码是速度优先、质量优先、均衡等。
  28. 可设置软件中文名称、英文名称、LOGO图标等。
  29. 存储的视频文件支持导出到指定目录,支持批量上传到服务器。
  30. 完善的录像计划设置,支持每个通道7乘24小时每半小时设置是否存储录像。

(三)、特色功能

  1. 主界面采用停靠窗体模式,各种组件以小模块的形式加入,可自定义任意模块加入。
  2. 停靠模块可拖动任意位置嵌入和悬浮,支持最大化全屏,支持多屏幕。
  3. 双重布局文件存储机制,正常模式、全屏模式都对应不同的布局方案,自动切换和保存,比如全屏模式可以突出几个模块透明显示在指定位置,更具科幻感现代化。
  4. 原创onvif协议机制,采用底层协议解析(udp广播搜索+http请求执行命令)更轻量易懂易学习拓展,不依赖任何第三方组件比如gsoap。
  5. 原创数据导入、导出、打印机制,跨平台不依赖任何组件,瞬间导出数据。
  6. 内置多个原创组件,宇宙超值超级牛逼,包括数据导入导出组件(导出到xls、pdf、打印)、数据库组件(数据库管理线程、自动清理数据线程、万能分页、数据请求等)、地图组件、视频监控组件、文件多线程收发组件、onvif通信组件、通用浏览器内核组件等。
  7. 自定义信息框+错误框+询问框+右下角提示框(包含多种格式)等。
  8. 精美换肤,高达17套皮肤样式随意更换,所有样式全部统一,包括菜单等。
  9. 视频控件悬浮条可以自行增加多个按钮,监控界面底部小工具栏也可自行增加按钮。
  10. 双击摄像机节点自动播放视频,双击节点自动依次添加视频,会自动跳到下一个,双击父节点自动添加该节点下的所有视频。可选主码流、子码流。
  11. 录像机管理、摄像机管理,可添加删除修改导入导出打印信息,立即应用新的设备信息生成树状列表,不需重启。
  12. 可选多种内核自由切换,ffmpeg、vlc、mpv等,均可在pro中设置。推荐用ffmpeg,跨平台最多,默认提供好了linux和mac平台上编译好的库。
  13. 支持硬解码,可设置硬解码类型(qsv、dxva2、d3d11va等)。
  14. 默认采用opengl绘制视频,超低的CPU资源占用,支持yuyv和nv12两种格式绘制,很牛逼。
  15. 高度可定制化,用户可以很方便的在此基础上衍生自己的功能,比如增加自定义模块,增加运行模式、机器人监控、无人机监控、挖掘机监控等。
  16. 支持xp、win7、win10、win11、linux、mac、各种国产系统(UOS、中标麒麟、银河麒麟等)、嵌入式linux等系统。
  17. 注释完整,项目结构清晰,超级详细完整的使用开发手册,精确到每个代码文件的功能说明,不断持续迭代版本。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/341673.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

MySQL视图特性

文章目录MySQL视图特性基本使用准备测试表创建视图修改视图影响基表修改基表影响视图删除视图视图规则和限制MySQL视图特性 视图的概念 视图是一个虚拟表&#xff0c;其内容由查询定义&#xff0c;同真实的表一样&#xff0c;视图包含一系列带有名称的列和行数据。视图中的数据…

opencv读取摄像头和视频数据

大家好&#xff0c;我是csdn的博主&#xff1a;lqj_本人 这是我的个人博客主页&#xff1a; lqj_本人的博客_CSDN博客-微信小程序,前端,python领域博主lqj_本人擅长微信小程序,前端,python,等方面的知识https://blog.csdn.net/lbcyllqj?spm1011.2415.3001.5343哔哩哔哩欢迎关注…

TensorRT和DLA(Deep Learning Accelerator)

TensorRT和DLA(Deep Learning Accelerator) 点击此处加入NVIDIA开发者计划 文章目录TensorRT和DLA(Deep Learning Accelerator)12.1. Running On DLA During TensorRT Inference注意&#xff1a;对于任何张量&#xff0c;索引维度的总体积加上请求的批量大小不得超过此函数返回…

Docker 面试知识点

Docker 是什么&#xff1f; 是实现容器技术的一种工具是一个开源的应用容器引擎使用 C/S 架构模式&#xff0c;通过远程API 来管理 (我们本机是 C&#xff0c;docker 引擎是 S,实际的构建过程是在 docker 引擎下完成的)可以打包一个应用及依赖包到一个轻量级、可移植的容器中 …

Hbase 数据迁移

Hbase 数据迁移 可选方案对比 l 已验证方案操作说明&#xff1a; n Export&import u 导出命令及示例 hbase org.apache.hadoop.hbase.mapreduce.Export “表名” 文件路径 导出至本地文件系统&#xff1a; ./bin/hbase org.apache.hadoop.hbase.mapreduce.Export ‘defa…

UnityBurst系统批量计算的插件入门

什麽是Burst系統做一些批量計算需要&#xff0c;比较难用&#xff0c;针无两头利如果不需要“密集”计算&#xff0c;就帧的不需要&#xff0c;到底什么是密集计算呢&#xff0c;for循环不密集么&#xff0c;while循环不密集么&#xff1f;安装Burst因为发现一个不错项目的插件…

Zookeeper实现分布式锁

文章目录ZK节点类型watch监听机制Zookeeper实现分布式锁锁原理创建锁的过程释放锁的过程ZK锁的种类代码实现Zookeeper是一个开源的分布式协调服务&#xff0c;是一个典型的分布式数据一致性解决方案。 分布式应用程序可以基于Zookeeper实现诸如数据发布/订阅&#xff0c;负载均…

【C/C++基础练习题】简单指针与数组使用练习题

&#x1f349;内容专栏&#xff1a;【C/C要打好基础啊】 &#x1f349;本文内容&#xff1a;简单指针与数组练习题&#xff08;复习之前写过的实验报告&#xff09; &#x1f349;本文作者&#xff1a;Melon西西 &#x1f349;发布时间 &#xff1a;2023.2.12 目录 1.vector​编…

async thunk 解决 API 调用的依赖问题

async thunk 解决 API 调用的依赖问题 一句话节省看下面一堆内容的时间就是&#xff1a; async thunk 中可以使用 async/await 锁住其他的 action 操作 一般 API 之间存在三种情况&#xff1a; A 和 B 之间没有依赖关系 这样的情况下&#xff0c;A 和 B 可以各调用各的&#x…

最近大热的 chatGPT 会取代你的工作吗?

ChatGPT 由于其高效的自然语言处理能力&#xff0c;它最容易取代的领域可能是&#xff1a; 文本分类&#xff1a;ChatGPT 可以用作文本分类系统&#xff0c;对文本进行分类 聊天机器人&#xff1a;ChatGPT 可以制作聊天机器人&#xff0c;提供人性化的交互体验 文本生成&…

策略游戏与实践反馈

早上看到time&#xff08;李培楠&#xff09;居然击败maru得了IEM的冠军&#xff0c;加上即时战略游戏的没落&#xff0c;星际2的研发停止&#xff0c;以及最近曾经被大家膜拜的暴雪闹出的各种事情&#xff0c;各种百感交集吧&#xff0c;从2000年上手星际争霸1开始&#xff0c…

【SPSS】数据预处理基础教程(附案例实战)

&#x1f935;‍♂️ 个人主页&#xff1a;艾派森的个人主页 ✍&#x1f3fb;作者简介&#xff1a;Python学习者 &#x1f40b; 希望大家多多支持&#xff0c;我们一起进步&#xff01;&#x1f604; 如果文章对你有帮助的话&#xff0c; 欢迎评论 &#x1f4ac;点赞&#x1f4…

2.10、时间片轮转、优先级调度算法、多级反馈队列调度算法

Tips&#xff1a;各种调度算法的学习思路 算法思想 算法规则 这种调度算法是用于作业调度还是进程调度? 抢占式? 非抢占式? 优点和缺点 是否会导致饥饿\color{red}饥饿饥饿 某 进程/作业 长期得不到服务 1、时间片轮转&#xff08;RR, Round-Robin&#xff09; 1.1、例…

别具一格,原创唯美浪漫情人节表白专辑,(复制就可用)(html5,css3,svg)表白爱心代码(2)

别具一格&#xff0c;原创唯美浪漫情人节表白专辑&#xff0c;(复制就可用)&#xff08;html5,css3,svg)表白爱心代码(2) 目录 ​​​​​​​款式二&#xff1a;心形实时显示认识多长时间桃花飞舞&#xff08;爱心&#xff09;款 1、拷贝完整源代码 2、拷贝完整js代码 3、…

漏洞修复 Zookeeper、MySQL、Elasticsearch

漏洞修复 一、HTTP漏洞修复 1.1 漏洞说明 1.2 漏洞修复 1.2.1 升级HTTPD到最新版本&#xff08;2.4.53&#xff09; 1.2.1.1 服务器有网的情况下执行以下操作&#xff1a; 安装CodeIT库 cd /etc/yum.repos.d wget https://repo.codeit.guru/codeit.el7.repo 更新httpd y…

解决需求变更难题的8大方案

需求变更8大原因为什么会出现需求变更&#xff0c;这是由于需求约束、规则有了新的变化、由于政策发生变化&#xff0c;客户、沟通方式、流程化、标准化的问题等导致。这里在在过去的项目经验中&#xff0c;提出了常见的8大需求变更的原因。政策发生变化&#xff1a;指由于国家…

牛客网Python篇数据分析习题(三)

1.现有一个Nowcoder.csv文件&#xff0c;它记录了牛客网的部分用户数据&#xff0c;包含如下字段&#xff08;字段与字段之间以逗号间隔&#xff09;&#xff1a; Nowcoder_ID&#xff1a;用户ID Level&#xff1a;等级 Achievement_value&#xff1a;成就值 Num_of_exercise&a…

华为OD机试 - 去除多余空格(Python)| 真题+思路+代码

去除多余空格 题目 去除文本多余空格,但不去除配对单引号之间的多余空格。给出关键词的起始和结束下标,去除多余空格后刷新关键词的起始和结束下标。 条件约束: 不考虑关键词起始和结束位置为空格的场景;单词的的开始和结束下标保证涵盖一个完整的单词,即一个坐标对开…

flurry+atos crash代码定位

flurry 崩溃日志代码定位 用symbolicatecrash工具分析iOS Crash文件通过atos符号化崩溃报告 1.写测试crash代码&#xff08;方便检测最后crash是否定位正确 **MineViewController-xima方法-485行&#xff09; 2.代码中flurry sdk打开crash追踪&#xff08;默认为NO&#xff0…

Prometheus 告警规则

Prometheus 告警规则 Prometheus官方内置的第三方报警通知包括&#xff1a;邮件、 即时通讯软件&#xff08;如Slack、Hipchat&#xff09;、移动应用消息推送(如Pushover)和自动化运维工具&#xff08;例如&#xff1a;Pagerduty、Opsgenie、Victorops&#xff09; Promethe…