rtsp 拉流 gb28181 收流 经AI 算法 再生成 rtsp server （一）

news2025/1/14 1:19:16

1、 rtsp 工具

1 vlc
必备工具
2 wireshark
必备工具
3 自己制作的工具
player 使用tcp 拉流，不自己写的话，使用ffmpeg 去写一个播放器就行
4 live555
编译好live555， 将live555的参数修改以下，主要是缓存大小

文章使用c++ 来写一个server，目的主要是为了gb28181 接收ps流， 主动拉rtsp 流，经过AI 算法以后 ，再将AI 结果 转成wsflv 和 rtsp 流。为了对比live555的过程，编译live555，本身live是一个非常好的服务端和客户端，测试非常方便。这里AI 使用libtorch。整个协议都使用原始的代码编写，最重要的是要支持投屏协议，可以将结果直接投送到大屏上，包含的协议比较多，综合比较强，因此准备使用多篇文章分开来写。

解码依然使用ffmpeg来解码，尽量使用ffmpeg的硬解码， 如果有可能，尽量使用vulkan。

最后生成rtsp server 只支撑tcp 协议，因为有可能要穿到外网部署。同时支持分布式推送ps流。各位读者不要觉得复杂，这个是真的需求。

2、rtsp 抓包

如下，黑体加粗的是客户端，紧接着的是服务端。

OPTIONS rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0 RTSP/1.0
CSeq: 2
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)

RTSP/1.0 401 Unauthorized
CSeq: 2
WWW-Authenticate: Digest realm=“Login to 6FEF45758F9C6A42”,nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”

OPTIONS rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0 RTSP/1.0
CSeq: 3
Authorization: Digest username=“admin”, realm=“Login to 6FEF45758F9C6A42”, nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”, uri=“rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0”, response=“3e64ebc6b330912aa130ed02dc7fb46b”
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)

RTSP/1.0 200 OK
CSeq: 3
Public: OPTIONS, DESCRIBE, ANNOUNCE, SETUP, PLAY, PAUSE, TEARDOWN, GET_PARAMETER, SET_PARAMETER, REDIRECT, RECORD
Server: Rtsp Server/3.0

DESCRIBE rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0 RTSP/1.0
CSeq: 4
Authorization: Digest username=“admin”, realm=“Login to 6FEF45758F9C6A42”, nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”, uri=“rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0”, response=“83a27a943b70d6094e8f27612f2fc026”
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)
Accept: application/sdp

RTSP/1.0 200 OK
CSeq: 4
Content-Base: rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/
Content-Type: application/sdp
x-Accept-Dynamic-Rate: 1
Cache-Control: must-revalidate
Content-Length: 477

v=0
o=- 2229913047 2229913047 IN IP4 0.0.0.0
s=Media Server
c=IN IP4 0.0.0.0
t=0 0
a=control:*
a=packetization-supported:DH
a=rtppayload-supported:DH
a=range:npt=now-
m=video 0 RTP/AVP 96
a=control:trackID=0
a=framerate:25.000000
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=4D0029;sprop-parameter-sets=Z00AKZY1QPAET8s3BQEFQAAAAwBAAAAMoQA=,aO4xsgA=
a=recvonly
m=audio 0 RTP/AVP 8
a=control:trackID=1
a=rtpmap:8 PCMA/8000
a=recvonly

SETUP rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/trackID=0 RTSP/1.0
CSeq: 5
Authorization: Digest username=“admin”, realm=“Login to 6FEF45758F9C6A42”, nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”, uri=“rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/”, response=“0eae62d04ad69162488d27765b8c0078”
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)
Transport: RTP/AVP;unicast;client_port=60860-60861

RTSP/1.0 200 OK
CSeq: 5
Session: 2667172900
Transport: RTP/AVP;unicast;client_port=60860-60861;server_port=2000-2001;ssrc=8c70b4ab
x-Dynamic-Rate: 1

SETUP rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/trackID=1 RTSP/1.0
CSeq: 6
Authorization: Digest username=“admin”, realm=“Login to 6FEF45758F9C6A42”, nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”, uri=“rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/”, response=“0eae62d04ad69162488d27765b8c0078”
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)
Transport: RTP/AVP;unicast;client_port=60862-60863
Session: 2667172900

RTSP/1.0 200 OK
CSeq: 6
Session: 2667172900
Transport: RTP/AVP;unicast;client_port=60862-60863;server_port=2002-2003;ssrc=99bb5969
x-Dynamic-Rate: 1

PLAY rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/ RTSP/1.0
CSeq: 7
Authorization: Digest username=“admin”, realm=“Login to 6FEF45758F9C6A42”, nonce=“fa305e83-5897-4eaa-a787-1395d12bac9b”, uri=“rtsp://192.168.0.108:554/cam/realmonitor?channel=1&subtype=0/”, response=“ea485ad09bc4e5cd23ae7bfdbd1dccd8”
User-Agent: LibVLC/3.0.18 (LIVE555 Streaming Media v2016.11.28)
Session: 2667172900
Range: npt=0.000-

RTSP/1.0 200 OK
CSeq: 7
Session: 2667172900
Range: npt=0.000-
RTP-Info: url=trackID=0;seq=1;rtptime=0,url=trackID=1;seq=1;rtptime=0

整个交互过程确实一目了然，rtsp 协议是非常简单明了，

3、使用vlc 拉流

注意点：
使用vlc时要注意一点，就是拉流如果是用tcp方式，把vlc里面设置以下，打开的速度会很快，不然他会尝试udp方式，最后才打开tcp，会使用很长时间
在这里插入图片描述
可以从界面上看到实际上vlc使用的是live555 来制作的rtsp client。

输入输出的时间戳问题

接收到的流分为两种，一种是ps流，一种是rtsp流，对于ps流，我们需要首先要建立RTPserver 解析，然后将ps 转成标准的RTP协议。
标准的RTP协议的时间戳以90000为基，而wsflv流也就是websocket流必须以普通的时间戳为准，因此，里面需要转换时间戳。

GB28181 收流后接收到的时间戳直接给RTP，也就是RTSP 协议里直接可以使用，因为ps流的时间戳是以90000为基的，而转到websocket flv 流，必须变成正常的时间，公式应该是

1/90000 * pts * 1000, 比如 4500 的RTP时间戳，对应的时间应该为 ，4500* 1000 / 90000 = 50,
4500 这个数值我们如果敏感的话，其实就是一秒钟为20帧， 也就是 时间戳为 0 50 100 150，而对应的RTP 时间戳为 0 4500 9000 13500 …

接收ps流

暂时先做一个ps server over udp， 先不做tcp ，这样容易出成果

void PsServer(int listenPort)
{
    int sock_fd = socket(AF_INET, SOCK_DGRAM, 0);
    if(sock_fd == -1)
    {
        printf("Socket init error\n");
        exit(-1);
    }
    struct sockaddr_in addr_s;  
    memset(&addr_s, 0, sizeof(addr_s));
    addr_s.sin_family = AF_INET;
    addr_s.sin_port = htons(listenPort);
    addr_s.sin_addr.s_addr = htonl(INADDR_ANY);
    /* 绑定socket */  
    if(bind(sock_fd, (struct sockaddr *)&addr_s, sizeof(addr_s)) < 0)  
    {  
        perror("bind error:");  
        exit(1);  
    }  
    char ipbuf[20];
    int n, len;
    char recv_buf[MAX_BUFF_SIZE];  
    struct sockaddr_in addr_c;
    memset(&addr_c, 0, sizeof(addr_c));
    while(1)  
    {  
        n = recvfrom(sock_fd, recv_buf, sizeof(recv_buf), 0, (struct sockaddr *)&addr_c, (socklen_t *)&len);  
        if(n < 0)  
        {
            perror("recvfrom error:");  
            exit(1);  
        }
        // bzero(&ipbuf,sizeof(ipbuf));
        // inet_ntop(AF_INET,&addr_c.sin_addr.s_addr,ipbuf,sizeof(ipbuf));
        if(n > 12)
        {
            uint32_t ssrc;
            memcpy((uint8_t*)&ssrc, (uint8_t*)recv_buf + 8, 4);
            ssrc = htonl(ssrc);
            RtpSource* rtp = getRtpSource(ssrc);
            memcpy(rtp->data, (uint8_t*)recv_buf, n);
            rtp->len = n;
            m_rtpFactory.parserRtpData(rtp);
        }
    }
}

收到流以后要解封包ps，变成es 流，然后 解码，使用libtorch 做AI 识别，最后将画面编码，成es 流，再交给rtsp server，我们一点点来，先讲一下解码后用torch 识别，下一次讲如何解封包ps流

拉取流后解码调用

#include <iostream>
#include "torch/script.h"
#include "torch/torch.h"
using namespace std;

int main() {
    //加载pytorch模型
    torch::jit::script::Module module = torch::jit::load("./model.pt");//注意检查路径
    //是否支持GPU加速
    if(!torch::cuda::is_available())
        exit(0);
    torch::DeviceType device_type; //设置Device类型
    device_type = torch::kCUDA;  //torch::kCUDA  and torch::kCPU
    torch::Device device(device_type, 0);

    //模型转到GPU中去
    module.to(device);
   
    // Create a vector of inputs.
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(torch::ones({1, 3, 46, 224}).to(device));

    // Execute the model and turn its output into a tensor.
    for (int i = 0; i < 100; i++) {
        at::Tensor output = module.forward(inputs).toTensor();
        std::cout << output.slice(/*dim=*/1, /*start=*/0, /*end=*/5) << '\n';
    }
}

下一节继续

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/961039.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Git的基本使用笔记——狂神说

Git的基本使用笔记——狂神说

版本控制 版本迭代&#xff0c; 版本控制( Revision control)是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史&#xff0c;方便查看更改历史记录&#xff0c;备份以便恢复以前的版本的软件工程技术。 实现跨区域多人协同开发 追踪和记载一个或者多个文件的…
阅读更多...
如何利用 Instagram Stories 促进小型企业发展

如何利用 Instagram Stories 促进小型企业发展

图片来源&#xff1a;SaleSmartly官网 社交媒体的存在对于小型企业来说是必须的。最近的一项研究表明&#xff0c;大约 80% 的客户在向小型企业购买产品之前会进行在线研究&#xff0c;超过 60% 的小型企业投资社交媒体营销以提供相关信息并吸引客户。 流行的社交媒体平台多种多…
阅读更多...
2023年05月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

2023年05月 C/C++（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

第1题&#xff1a;问题求解 给定一个正整数N&#xff0c;求最小的M满足比N大且M与N的二进制表示中有相同数目的1。 举个例子&#xff0c;假如给定N为78&#xff0c;二进制表示为1001110&#xff0c;包含4个1&#xff0c;那么最小的比N大的并且二进制表示中只包含4个1的数是83&a…
阅读更多...
软件测试之“支付功能”测试

软件测试之“支付功能”测试

01、测试思维 要分析测试点之前&#xff0c;我们先来梳理一下测试思维。总结来说&#xff0c;任何事物的测试思路都可以总结如下&#xff1a; 第一步&#xff1a;梳理产品的核心业务流程&#xff1a;明白这是个什么项目&#xff0c;实现了什么业务&#xff0c;以及是怎么实现…
阅读更多...
三、定长内存池

三、定长内存池

三、定长内存池 我们知道申请内存使用的是malloc&#xff0c;malloc其实就是一个通用的大众货&#xff0c;什么场景下都可以使用&#xff0c;而什么场景下都可以用就意味着什么场景下都不会有很高的性能&#xff0c;下面我们就先来设计一个定长内存池作为一个开胃菜&#xff0…
阅读更多...
全能图片转文字：多功能图片处理软件

全能图片转文字：多功能图片处理软件

全能图片转文字是一款支持将图片文件实时转换为文字的处理软件。该软件可以帮助用户快速地获取图片文件中的文字内容&#xff0c;减少人工摘录的时间和成本&#xff0c;同时具备图片转excel、智能配音及PDF编辑等其他热门功能&#xff0c;轻松满足办公、学习中的各类需求。支持…
阅读更多...
基于costas环的载波同步系统matlab性能仿真

基于costas环的载波同步系统matlab性能仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 ............................................................................ I_Dataroun…
阅读更多...
2001-2022年全国各区县最低工资数据

2001-2022年全国各区县最低工资数据

2001-2022年全国各区县最低工资数据 1、时间&#xff1a;2001-2022年 2、来源:人社部 3、指标&#xff1a;年份、行政区划代码、地区、所属省份、所属城市、经度、纬度、最低工资-每月、最低工资-小时 4、样本量&#xff1a;5.5万条 5、指标解释&#xff1a;最低工资标准是…
阅读更多...
使用 Node-RED 构建 DolphinDB 低代码平台

使用 Node-RED 构建 DolphinDB 低代码平台

前言 DolphinDB 是由浙江智臾科技有限公司研发的一款高性能分布式时序数据库&#xff0c;集成了功能强大的编程语言和高容量高速度的流数据分析系统&#xff0c;为海量结构化数据的快速存储、检索、分析及计算提供一站式解决方案。DolphinDB 数据库支持每秒百万级数据写入&…
阅读更多...
Qt---对话框 事件处理 如何发布自己写的软件

Qt---对话框 事件处理 如何发布自己写的软件

目录 一、对话框 1.1 消息对话框&#xff08;QMessageBox&#xff09; 1> 消息对话框提供了一个模态的对话框&#xff0c;用来提示用户信息&#xff0c;或者询问用户问题并得到回答 2> 基于属性版本的API 3> 基于静态成员函数版本 4> 对话框案例 1、ui界面 …
阅读更多...
天地图pc端显示正常，app不能显示

天地图pc端显示正常，app不能显示

问题&#xff1a;天地图在pc端显示正常&#xff0c;但是app端不能显示 原因&#xff1a;天地图官网区分服务端key和客户端key 更换一下key就可以了 app端需要申请服务端key, pc端和h5使用客户端key
阅读更多...
前端是leyui后端sqlserver和maraDB进行分页

前端是leyui后端sqlserver和maraDB进行分页

项目场景&#xff1a; 前端是leyui后端sqlserver和maraDB进行分页,两种数据库在后端分页的不同写法 解决方案&#xff1a; 前端: 定义table,表格的格式在接口返回时进行创建,根据id进行绑定 <div class"layui-tab-item layui-show" style"padding-top: 10…
阅读更多...
恒运资本：股票跌100%后怎么办？

恒运资本：股票跌100%后怎么办？

在股票市场里&#xff0c;股票价格跌涨是日常的现象&#xff0c;有时候涨到令人惊喜&#xff0c;有时候却一路跌向谷底。股价跌到零的情况并不常见&#xff0c;可是&#xff0c;假如是跌了100%怎么办呢&#xff1f; 在探究该问题前&#xff0c;咱们需要了解股票跌100%是怎样的…
阅读更多...
【Terraform学习】Terraform动态块基础操作（Terraform模块）

【Terraform学习】Terraform动态块基础操作（Terraform模块）

本站以分享各种运维经验和运维所需要的技能为主 《python》&#xff1a;python零基础入门学习 《shell》&#xff1a;shell学习 《terraform》持续更新中&#xff1a;terraform_Aws学习零基础入门到最佳实战 《k8》暂未更新 《docker学习》暂未更新 《ceph学习》ceph日常问题解…
阅读更多...
微机原理 || 8253接口芯片知识点+4道经典例题+手写解题过程

微机原理 || 8253接口芯片知识点+4道经典例题+手写解题过程

&#xff08;二&#xff09;经典考题&#xff1a; 【例1】: 设8253端口地址为300H&#xff5e;303H&#xff0c;要求计数器2工作在方式5&#xff0c;二进制计数&#xff0c;CLK22MHz&#xff0c;OUT21KHz。试按上述要求完成8253的初始化。 【例2】&#xff1a;选择计数器0工…
阅读更多...
【Postman】postman生成测试报告完整步骤（包含命令与newman安装教程链接）

【Postman】postman生成测试报告完整步骤（包含命令与newman安装教程链接）

文章目录 一、前提二、导出Postman脚本三、生成测试报告 一、前提 前提准备&#xff1a; 已安装好Newman 指引文章&#xff1a;Newman安装与环境配置完整版文章 Newman是一款基于nodejs开发的可以运行Postman脚本的工具&#xff0c;并可以生成测试报告。 二、导出Postman脚本…
阅读更多...
探索UniApp分包

探索UniApp分包

目录 什么是UniApp分包&#xff1f; UniApp分包的原理 优势 如何使用UniApp分包 1.manifest.json文件配置 2.静态图片资源分包注意事项 3.pages.json配置 结论 探索UniApp分包&#xff1a;优化移动应用性能与用户体验 在移动应用开发领域&#xff0c;性能和用户体验是至…
阅读更多...
如何在Mac电脑上安装WeasyPrint：简单易懂的步骤

如何在Mac电脑上安装WeasyPrint：简单易懂的步骤

1. 安装homebrew 首先需要确保安装了homebrew&#xff0c;通过homebrew安装weasyprint可以将需要的库都安装好&#xff0c;比pip安装更简单快捷。 安装方法如下&#xff1a; /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)&qu…
阅读更多...
800V架构下，扁线电机该怎么“绕”？

800V架构下，扁线电机该怎么“绕”？

800V高压平台下&#xff0c;整车电池系统&#xff0c;充电系统&#xff0c;电驱系统均要向高电压平台进行开发。电机作为三电系统中的核心&#xff0c;其效率表现直接影响了整车的性能。而在800V架构下&#xff0c;电机的设计与低压平台的设计也有所不同&#xff0c;要求电驱系…
阅读更多...
使用多进程的方式改写聊天程序(有名管道)

使用多进程的方式改写聊天程序(有名管道)

目录 1、思路2 、步骤 1、思路 2 、步骤 步骤1&#xff1a;创建两个管道 makefifo fifo1 fifo2步骤2&#xff1a;编写talkA.c文件 #include<stdio.h> #include<stdlib.h> #include<string.h> #include<sys/types.h> #include<sys/stat.h> #in…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023