Android终端GB28181音视频实时回传设计探讨

news2024/10/25 13:16:37

技术背景

好多开发者，在调研Android平台GB28181实时回传的时候，对这块整体的流程，没有个整体的了解，本文以大牛直播SDK的SmartGBD设计开发为例，聊下如何在Android终端实现GB28181音视频数据实时回传。

技术实现

Android终端除支持常规的音视频数据接入外，还可以支持移动设备位置(MobilePosition)订阅和通知、语音广播和语音对讲、云台控制回调和预置位查询，可以考虑支持对接数据类型如下：

  • 编码前数据（目前支持的有YV12/NV21/NV12/I420/RGB24/RGBA32/RGB565等数据类型）；
  • 编码后数据（如无人机等264/HEVC数据，或者本地解析的MP4音视频数据）；
  • 拉取RTSP或RTMP流并接入至GB28181平台（比如其他IPC的RTSP流，可通过Android平台GB28181接入到国标平台）。

如果要做个技术通用且功能齐全的Android平台GB28181实时音视频回传模块，一般来说，需要涉及的功能的如下：

  •  ​[视频格式]H.264/H.265(Android H.265硬编码)；
  •  [音频格式]G.711 A律、AAC；
  •  [音量调节]Android平台采集端支持实时音量调节；
  •  [H.264硬编码]支持H.264特定机型硬编码；
  •  [H.265硬编码]支持H.265特定机型硬编码；
  •  [软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；
  •  [软编码参数配置]支持软编码profile、软编码速度、可变码率设置；
  • 支持纯视频、音视频PS打包传输；
  • 支持RTP OVER UDP和RTP OVER TCP被动模式；
  • 支持信令通道网络传输协议TCP/UDP设置；
  • 支持注册、注销，支持注册刷新及注册有效期设置；
  • 支持设备目录查询应答；
  • 支持心跳机制，支持心跳间隔、心跳检测次数设置；
  • 支持移动设备位置(MobilePosition)订阅和通知；
  •  适用国家标准：GB/T 28181—2016；
  • 支持语音广播；
  • 支持语音对讲；
  • 支持图像抓拍；
  • 支持历史视音频文件检索；
  • 支持历史视音频文件下载；
  • 支持历史视音频文件回放；
  • 支持云台控制和预置位查询；
  •  [实时水印]支持动态文字水印、png水印；
  •  [镜像]Android平台支持前置摄像头实时镜像功能；
  •  [实时静音]支持实时静音/取消静音；
  •  [实时快照]支持实时快照；
  •  [降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；
  •  [外部编码前视频数据对接]支持YUV数据对接；
  •  [外部编码前音频数据对接]支持PCM对接；
  •  [外部编码后视频数据对接]支持外部H.264数据对接；
  •  [外部编码后音频数据对接]外部AAC数据对接；
  •  [扩展录像功能]支持和录像SDK组合使用，录像相关功能。​

系统要求：

  • SDK支持Android 5.1及以上版本；
  • 支持的CPU架构：armv7, arm64, x86, x86_64。

前期准备：

  • 满足系统要求：确保 Android 设备的系统版本为 5.1 及以上，以支持相关的功能和库。
  • 添加权限：在 AndroidManifest.xml 文件中添加必要的权限，如网络访问权限<uses-permission android:name="android.permission.internet"></uses-permission>、存储权限<uses-permission android:name="android.permission.write_external_storage"></uses-permission>等，这些权限是实现数据传输和存储所必需的。
  • 引入库文件：将相关的库文件添加到项目中，例如 smartavengine.jar 和 smartgbsipagent.jar 等。同时，将对应的 .so 文件（如 libsmartpublisher.so 和 libsmartplayer.so，如果需要语音广播或语音对讲功能）拷贝到项目中。
  • 配置构建文件：在 build.gradle 文件中进行相关配置，比如配置 32 位和 64 位库的支持，以确保应用能够在不同架构的 Android 设备上运行。

信令交互：

  • 注册与登录：设备需要向 GB28181 平台进行注册，发送注册请求并等待平台的响应。注册信息包括设备的唯一标识、IP 地址、端口号等。在 Android 中，通过调用相关的 GB28181 库函数来实现注册功能。例如，设置服务器参数gb28181_agent_.setServerParameter(gb28181_sip_server_addr_, gb28181_sip_server_port_, gb28181_sip_server_id_, gb28181_sip_domain_)，其中包括服务器地址、端口、服务器 ID 和域等信息。
  • 心跳机制：为了保持与平台的连接，设备需要定期向平台发送心跳消息，以告知平台设备仍然在线。设置心跳间隔和心跳检测次数等参数，例如 gb28181_agent_.config(gb28181_reg_expired_, gb28181_heartbeat_interval_, gb28181_heartbeat_count_)。
  • 事件处理：实现对平台发送的各种信令的处理，如订阅、查询等请求的响应。例如，当平台发起位置订阅请求时，设备需要按照订阅时间间隔，实时上报当前位置信息。

视频采集与编码：

  • 视频采集：使用 Android 设备的摄像头进行视频采集。可以通过 Camera 类或者更高版本的 Camera2 API 来获取摄像头的视频数据。设置视频的分辨率、帧率等参数，以满足实际需求。
  • 视频编码：对采集到的视频数据进行编码，使其符合 GB28181 标准要求的编码格式，如 H.264 或 H.265。在 Android 中，可以使用 MediaCodec 类进行硬件加速编码，提高编码效率。

数据传输：

  • 建立连接：根据 GB28181 协议的要求，使用 SIP 协议建立与平台的会话连接。在连接建立过程中，需要指定传输协议（如 UDP 或 TCP）和端口号等信息。
  • 数据发送：将编码后的视频数据封装成 RTP 数据包，并通过建立的连接发送到 GB28181 平台。在发送过程中，需要注意网络状况，对数据进行适当的分包和组包处理，以确保数据的正确传输。

异常处理：

  • 网络异常：当网络出现异常时，如网络断开或连接超时，需要及时进行重连或重新注册等操作，以保证数据的实时回传。
  • 设备故障：当设备出现故障或异常情况时，如摄像头故障或编码失败，需要及时进行错误处理，并向平台发送相应的错误报告。

总结

Android 上实现 GB28181 实时回传，我们从前期准备、信令交互、视频采集与编码、数据传输和异常处理这几个关键方面进行阐述。前期准备包括满足系统要求、添加权限、引入库文件和配置构建文件，为后续的开发提供基础环境。信令交互涵盖注册与登录、心跳机制和事件处理，确保设备与平台的正常通信。视频采集与编码部分介绍了如何利用 Android 设备的摄像头进行视频采集以及对采集到的数据进行编码。数据传输则说明了如何建立连接和发送数据。最后，异常处理考虑了网络异常和设备故障等情况的应对措施。以上是大概的设计思路，感兴趣的开发者，可以单独跟我沟通探讨。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2210780.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++——红黑树（带头结点）

C++——红黑树（带头结点）

红黑树 红黑树的概念红黑树的定义红黑树的性质红黑树的优点操作原理例图&#xff1a; 红黑树的实现红黑树的框架红黑树的插入实现头结点的作用红黑树的插入步骤&#xff08;简易理解版带图&#xff09; 红黑树的插入具体代码详解红黑树的旋转代码红黑树的查验 红黑树的概念 红…
阅读更多...
基于矢量瓦片技术的GIS引擎

基于矢量瓦片技术的GIS引擎

矢量地图是通过对点线面坐标信息集合的管理和渲染实现优于栅格画面质量的一种gis展示技术&#xff0c;涉及不同坐标系变换&#xff0c;视窗比例尺换算等。当你遇到海量坐标数据和属性信息需要管理时你就不得不在有限内存和庞大数据间左右为难&#xff0c;将地图矢量数据进行分块…
阅读更多...
LabVIEW提高开发效率技巧----时序分析

LabVIEW提高开发效率技巧----时序分析

一、什么是时序分析&#xff1f; 时序分析是优化LabVIEW程序性能的重要步骤。它通过分析程序各个部分的执行时间&#xff0c;帮助开发者找到程序运行中的瓶颈&#xff0c;并进行有针对性的优化。在LabVIEW中&#xff0c;Profile Performance and Memory工具是进行时序分析的关…
阅读更多...
浏览器中使用模型

浏览器中使用模型

LLM 参数越来越小&#xff0c;使模型跑在端侧成为可能&#xff0c;为什么要模型跑在端侧呢&#xff0c;首先可以节省服务器的算力&#xff0c;现在 GPU 的租用价格还是比较的高的&#xff0c;例如租用一个 A10 的卡1 年都要 3 万多。如果将一部分算力转移到端侧通过小模型进行计…
阅读更多...
Linux中真实的调度算法，进程地址空间，命令行参数

Linux中真实的调度算法，进程地址空间，命令行参数

文章目录 Linux中真正的调度算法补充 命令行参数什么是命令行参数&#xff1f;命令行参数的用途如何在不同的编程语言中使用命令行参数命令行参数好处 Linux中真正的调度算法 这是Linux2.6的内核中进程队列的数据结构 其中有这两个指针*active,*expired&#xff0c;而Linux为…
阅读更多...
论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution

论文及其创新点学习cvpr2022 On the Integration of Self-Attention and Convolution

代码地址 https://github.com/LeapLabTHU/ACmix https://gitee.com/mindspore/models 论文创新点&#xff0c;将注意力机制 和卷积 相结合 # encoding: utf-8author: duhanyue start time: 2024/10/13 10:04 import torch import torch.nn as nn def position(H, W, is_cudaT…
阅读更多...
邮票鉴赏系统| 邮票鉴赏系统平台|基于java和vue的邮票鉴赏系统设计与实现(源码+数据库+文档)

邮票鉴赏系统| 邮票鉴赏系统平台|基于java和vue的邮票鉴赏系统设计与实现(源码+数据库+文档)

邮票鉴赏系统\ 目录 基于java和vue的邮票鉴赏系统设计与实现 一、前言 二、系统功能设计 三、系统实现 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取&#xff1a; 博主介绍&#xff1a;✌️大厂码农|毕设布道师&#xff0c;阿里…
阅读更多...
用 Gemini Google 生成图片的魔法

用 Gemini Google 生成图片的魔法

用 Gemini Google 生成图片的魔法指南 你是否曾经想过&#xff0c;用一些简单的文本描述来生成一张图片&#xff1f;这听起来像是科幻小说中的魔法&#xff0c;但实际上&#xff0c;这就是 Gemini Google 的魔力&#xff01;在这篇文章中&#xff0c;我将向你详细介绍如何使用…
阅读更多...
【HarmonyOS NEXT】实现页面水印功能

【HarmonyOS NEXT】实现页面水印功能

关键词&#xff1a;鸿蒙、水印、Watermark、页面、触摸问题 注&#xff1a;本期文章同样适用 OpenHarmony 的开发 在app开发过程中时常会出现敏感信息页面&#xff0c;为保护信息安全和及时的数据追踪&#xff0c;通常会采用给页面加水印的形式&#xff0c;那么本期文章会介绍…
阅读更多...
自回归视觉生成里程碑！比ControlNet 和 T2I-Adapter 快五倍！北大腾讯提出CAR：灵活、高效且即插即用的可控框架

自回归视觉生成里程碑！比ControlNet 和 T2I-Adapter 快五倍！北大腾讯提出CAR：灵活、高效且即插即用的可控框架

文章链接&#xff1a;https://arxiv.org/pdf/2410.04671 项目链接&#xff1a;https://github.com/MiracleDance/CAR 亮点直击 CAR是首个为自回归模型家族设计的灵活、高效且即插即用的可控框架。CAR基于预训练的自回归模型&#xff0c;不仅保留了原有的生成能力&#xff0c;还…
阅读更多...
sherpa-ncnn 语言模型简单对比

sherpa-ncnn 语言模型简单对比

在昨天把系统搞崩溃前&#xff0c;对sherpa-ncnn的中文模型做了一个简单的对比。这次使用的分别是sherpa-ncnn-streaming-zipformer-bilingual-zh-en-2023-02-13&#xff08;以下简称bilingual-zh-en-2023-02-13&#xff09;和sherpa-ncnn-streaming-zipformer-small-bilingual…
阅读更多...
服务器数据恢复—EMC存储RAID5磁盘阵列数据恢复案例

服务器数据恢复—EMC存储RAID5磁盘阵列数据恢复案例

服务器数据恢复环境&#xff1a; 一台EMC某型号存储设备&#xff0c;该存储中有一组由12块&#xff08;包括2块热备盘&#xff09;STAT硬盘组建的raid5阵列。 服务器故障&#xff1a; 该存储在运行过程中突然崩溃&#xff0c;raid瘫痪。数据恢复工程师到达现场对故障存储设备进…
阅读更多...
GPT联网分析到底有多强？实测效果告诉你答案！

GPT联网分析到底有多强？实测效果告诉你答案！

文章目录 零、前言一、gpt-4o操作指导gpt4o 二、感受 零、前言 早上在聊到博主在选择平台时&#xff0c;要选择哪个平台发展。 通过GPT查询并分析了小红书&#xff0c;微信视频号&#xff0c;抖音和B站的用户群体。 由此可举一反三&#xff0c;如何让GPT联网分析&#xff0c;…
阅读更多...
部署私有仓库以及docker web ui应用

部署私有仓库以及docker web ui应用

官方地址&#xff1a;https://hub.docker.com/_/registry/tags 一、拉取registry私有仓库镜像 docker pull registry:latest 二、运⾏容器 docker run -itd -v /home/dockerdata/registry:/var/lib/registry --name "pri_registry1" --restartalways -p 5000:5000 …
阅读更多...
如何针对项目中的技术难点准备面试？——黑马点评为例

如何针对项目中的技术难点准备面试？——黑马点评为例

最核心的&#xff0c;包装和准备 个人项目&#xff0c;怎么包装&#xff1f;一定要写出代码才可以吗&#xff1f; 你可以在系统A中实现就可以&#xff0c;了解其中实现的细节&#xff0c;怎么跟面试官对线等等&#xff0c;这些话术到位了之后&#xff0c;再把它融入到系统B&a…
阅读更多...
《CUDA编程》7.全局内存的合理使用

《CUDA编程》7.全局内存的合理使用

上一章简单的介绍了一下各种内存&#xff0c;本章开始详细讲解各个内存的合理使用&#xff0c;在所有设备中&#xff0c;全局内存的访问速度最慢&#xff0c;是CUDA程序的一个性能瓶颈&#xff0c;所以值得特别关注 1 全局内存的合并与非合并访问 对全局内存的访问将触发内存事…
阅读更多...
LabVIEW如何实现高精度定时器

LabVIEW如何实现高精度定时器

在LabVIEW中实现高精度定时器通常需要考虑以下几个方面&#xff1a;定时器的精度要求、操作系统的调度机制、硬件资源&#xff08;如计时器、触发器&#xff09;等。以下是几种常见的实现方式&#xff1a; ​ 1. 使用 Wait(ms) 或 Wait Until Next ms Multiple VI 这两个函数…
阅读更多...
【无人机设计与控制】PID_积分滑模_积分反步四旋翼无人机轨迹跟踪控制算法

【无人机设计与控制】PID_积分滑模_积分反步四旋翼无人机轨迹跟踪控制算法

摘要 本文基于四旋翼无人机设计与控制&#xff0c;提出了一种结合PID控制、积分滑模控制以及积分反步控制的轨迹跟踪算法。该算法通过调节无人机的运动轨迹&#xff0c;提升其在复杂环境下的稳定性与抗扰动能力。实验结果表明&#xff0c;该算法能有效改善无人机的轨迹跟踪精度…
阅读更多...
【python实操】python小程序之计算对象个数、游戏更新分数

【python实操】python小程序之计算对象个数、游戏更新分数

引言 python小程序之计算对象个数、游戏更新分数 文章目录 引言一、计算对象个数1.1 题目1.2 代码1.3 代码解释1.3.1 代码结构1.3.2 模块解释1.3.3 解释输出 二、游戏更新分数2.1 题目2.2 代码2.3 代码解释2.3.1 定义 Game 类2.3.2 创建 Game 实例并调用方法 三、思考3.1 计算对…
阅读更多...
C++之String类模拟实现（下）

C++之String类模拟实现（下）

片头 哈喽~小伙伴们&#xff0c;在上一篇中&#xff0c;我们讲解了C的string类的相关函数&#xff0c;这一章中&#xff0c;我们将继续深入学习string类函数&#xff0c;准备好了吗&#xff1f;咱们开始咯~ 五、对内容进行修改 ⑤insert函数 在指定位置插入字符或者字符串 …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023