行业突破!四信实现低延时摄像头弱网状态100ms以内实时传输

news2025/1/6 18:37:09

  随着人工智能、大数据、区块链等技术在城市中快速发展,人们日常生活中已经离不开网络的支撑,而实现“人与人”、“人与物”及“物与物”之间高速连接应用的“时延”,是网络支撑中最重要的存在。

  以城市生活例子为例,当网络延时出现问题,将会导致众多重要领域的现场运行带来极大的负面影响,譬如智慧交通系统中交通信号灯的延时可能导致交通拥堵和事故增加、医疗服务中的延时可能影响紧急救援和诊疗效率,航空航天中的各项任务更是要求低于毫秒级的延时,否则失之毫厘谬以千里。

  而在物联网场景中,大部分应用场景的网络环境都较为复杂,涉及多种无线通信传输、多层跨网穿透,现场电磁干扰度大、数据传输协议繁杂,如何让通信通道稳定可靠的同时又能将延时降低,是行业中各家企业都在探索的方向。

  

\

  需求分析

  目前各领域场景应用的大多数远程控制基于有线网络,虽然有线网络稳定,但也存在一些问题,如灵活性较差,难以支持大范围移动的特种设备。另一方面,要实现远程控制,不仅需要可靠的网络保证操控的实时性、灵敏度,还需要足够清晰度、低时延的视频回传提供视觉支撑,以达到“所见即所得”。

  然而现有的远程控制视频回传基于传统视频画面,在经过摄像头编码处理、网络传输、后台视频服务器转码、显示端解码后,端到端的时延非常高,时延往往超过500ms甚至秒级,导致后端操控端的视频画面出现严重的延迟,从而容易出现误操作和事故的发生。

  弱网状态下的时延行业瓶颈与技术解析

  得益于5G的出现,业界已经可以把无线通信中的延时降低到梦寐以求的1毫秒,但是这仅限于数据传输,且无线通信场景中还是存在一定的波动。

  而传统的摄像头,从采集到图像到本地局域网设备观看到第一帧图像,通常需要200~500毫秒,如果要通过4G或5G远程观看,则1~2秒的延时是非常常见的。视频延迟的原因不仅仅是信号从A点到B点的传输速度,还包括将原始摄像头输入处理为编码和解码视频流所需的时间。许多因素会导致延迟,这取决于传递链路和涉及的视频处理步骤的数量。尽管这些延迟可能各自很小,但累积起来可能会很快增加。

  摄像头从采集到出图的一般流程示意:

  

视频实时传输

  视频实时传输的QoE核心指标是清晰度、延时、流畅度,三者之间存在相互矛盾,视频越清晰则所需的带宽越大,因此造成卡顿的概率越高,如果比较保守的选择低清晰度的视频流,虽然可以减少卡顿概率,但也会牺牲视频质量从而无法提高QoE,另一方面,如果增加播放缓冲,可降低因信道抖动而导致的卡顿,但也将导致延时的增大。

  可见研究难点在于如何在保障音视频质量和流畅的前提下,降低传输延时,而端到端延时主要由两部分构成:

  ● 音视频数据的采集、编码、传输、处理、解码和显示等各环节均会产生延时,特别是使用TCP等面向连接的传输协议时,拥塞控制会导致发送数据堆积,进而增加传输延时。

  ● 为了应对信道的不稳定性,保证音视频播放的流畅,必须建立buffer缓冲区以及传输中继,这也会直接导致延时的增加。

  在信道传输状况良好的情况下,可以大幅降低缓冲,因此低延时并非难事,但现实是各种接入网和骨干网的信道质量差别很大且不稳定:

  ● 无线网络环境,包括环境干扰、电磁对抗,也包括多个信道之间的相互干扰是一种常态,这使得信道的丢包、误码、延时抖动难以避免。

  ● 音视频等大数据量的传输、多设备共享信道加剧信道拥塞和竞争。

  ● 5G等技术的普及,虽可大幅降低接入网络的延时并增加带宽,但随着频率的提高,5G也更容易受到外部干扰。

  目前无线信道是主流,通常包括微波、WIFI、4G/5G、低轨卫星等,在无线信道中误码丢包、延时抖动是不可避免的,且是典型的分布式、去中心化的开放信息系统,因此:

  ● 基于有限的特定模型进行预测和优化,而非通过一个或是某几个技术相融合以此达到最终目标实现。

  ● 信道优化代价高、难度大,也无法解决大部分问题。

  ● 传统视频编码控制、传输理论与算法未针对低延时场景。

  进一步的,依靠传统技术更难以同时满足视频传输的实时、流畅、清晰,往往会牺牲一个或两个维度来满足另一个维度。

  四信高可靠低延时视频传输方案

  针对目前行业中存在的共性问题,四信推出了物联网场景中的高可靠低延时视频传输方案。通过云边端三位一体配合协同,在不损失成像效果和流畅性的情况下,不仅成功地将延时缩减了一位数,在稳定网络环境下甚至能达到50ms以内,即使是在移动场景中采用蜂窝通信技术的弱网环境下,也能控制在80ms左右。

  该技术及产品涉及传输、高性能计算、音视频编码等领域,重点解决中弱网下面向海量并发的低延时和超低延时交互的可靠性问题。采用MAS架构的全链路协作与协商机制,并将科学理论与工程方法结合,在此基础上发明创造多个涉及音视频低延时互动的关键方法。

  以下是采用集成ilive技术的四信最新一代AIoT摄像机F-SC242与目前业界较为先进的知名摄像机制造商之间的延时对比测试视频。

  目前,该方案已成功部署于多个车路协同、港口无人龙门架操控及实时图像回传项目中。尤其在某工厂的智能化改造项目中,四信高可靠低时延传输方案起到重要作用,为该工厂的数字化转型实现里程碑突破。

  该工厂原先的大型AGV无人物流叉车使用的雷达避障方案,然而雷达探测的角度有限,易受现场粉尘、激光及其他光波等环境因素影响,且无法识别障碍物的具体类型,因此经常出现剐蹭及碰撞事故,因此该厂商老板打算放弃当前方案,采用视觉避障方案,但因成本及算法性能需求,仅能将算法部署在服务器端,发现常规摄像头方案回传视频的延时

  根本无法满足现场的避障需求,只能将视觉识别的方案搁置。

  而随着5G全连接工厂的东风吹起,四信结合该厂商当前运行的实际情况,将低延时摄像头部署在无人物流叉车上,实现端侧的一些基础图像识别,同时实现现场图像实时传送至服务器端进行更高层级的算法分析,不仅解决避障及物体识别的问题,还能通过多路图像协同进行物流叉车运行路线的实时调优,在降低故障率的同时极大提升生产物流效率,必要时候还能远程人工接管AGV叉车的运行操作。

  

AGV叉车

  产品推荐

  5G RTU网络摄像头

  

5G RTU网络摄像头

   物联网 RTU 摄像头作为智能物联网监控系统的主要产品,专为工业级物联网应用而设计。采用工业级 4G/5G 模块,可以提供无线长距离、低延迟的高清视频。同时内置高性能工业级 CPU,采集各类传感器数据并进行基本协议转换,实时在前端进行人工智能视频分析。

  海螺摄像头

  

5G RTU网络摄像头

  是一款小尺寸室内海螺摄像头,可选两百万像素的Sensor,可定制多种IoT接口,精致高端的设计适合多种室内环境的部署。目前该款产品已经广泛应用于智慧工厂、智慧港口、智慧园区等大型项目中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1520577.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

王勇:硬科技的下一站 | 演讲嘉宾公布

一、智能耳机与可穿戴专题论坛 智能耳机与可穿戴专题论坛将于3月27日同期举办! 智能耳机、可穿戴设备已经逐渐融入我们的生活,它们不仅带来了便捷与舒适,更在悄然改变着我们的生活方式和工作模式。在这里,我们将分享最新的研究成果…

图像分类技术在电商平台的创新应用与实践

一、引言 在当今快速发展的互联网电商领域,商家面临着激烈的竞争和不断变化的市场需求。我们在服务电商的过程中,利用AI大模型技术创新性地引入了图像分类技术,为供应链管理带来了革命性的变革。接下来,我们将深入探讨这一项目的…

【STM32学习】PWM学习,(二)驱动LED呼吸灯

上文学习了PWM的基本概述,和PWM的各种参数,本文 学习使用PWM信号去驱动LED实现呼吸灯的效果。 1、PWM驱动LED呼吸灯 1.1介绍 目标:单片机输出一个PWM信号,驱动LED呼吸亮灭。PWM占空比高,则LED更亮;PWM占空…

javase day05笔记

第5天课堂笔记 四舍五入问题,保留两位小数★ System.out.printf("%.2f\n" , d);选择结构★★★ ifif(){}else{}:二选一if(){}else if(){}else if(){} else{} :多重if:多选1 和 equals区别★★★ 基本数据类型:对比值…

STM32F103 CubeMX 使用USB生成鼠标设备

STM32F103 CubeMX 使用USB生成鼠标设备 1 配置cubeMX1.1配置外部晶振,配置debug口1.2 配置USB1.3 配置芯片的时钟1.4 生成工程 2. 编写代码2.1 添加申明2.2 main函数代码 1 配置cubeMX 1.1配置外部晶振,配置debug口 1.2 配置USB 1.3 配置芯片的时钟 需…

【算法与数据结构】深入解析二叉树(二)之堆结构实现

文章目录 📝二叉树的顺序结构及实现🌠 二叉树的顺序结构🌠 堆的实现🌠 堆的实现🌉堆向下调整算法🌉堆的创建🌉建堆时间复杂度🌉堆的插入🌉堆的删除 🌠堆向上调…

sqllab第十九关通关笔记

知识点: 错误注入 最大长度为32位;如果目标长度>32时,需要利用截取函数进行分段读取referer注入 insert语句update语句 通过admin admin进行登录发现页面打印除了referer字段的信息 这应该是一个referer注入 首先进行测试一下 构造payl…

MATLAB/SIMULINK流水账

01.模块大小的一致性 当模型建完以后,模型大小比较散乱,可以利用该功能快速整理模块的大小 例如:如下5个constant模块,大小不一 若想把所有的模块都调整至跟第3个模块一样的大小 需要先把5个模块全部选取起来,另外再…

开发指南006-后端配置文件

后端配置文件分为两层,一是部署目录中的内容如下: 这里最重要的是端口号,同一个目录下可以是一个jar包多个配置文件,启动批处理中,按一个配置文件启动一个程序的方式启动多个服务。例如上面目录里的启动批处理文件可以…

Observability:使用 Elastic AI Assistant 和 APM 分析 OpenTelemetry 应用程序

作者:来自 Elastic Bahubali Shetti OpenTelemetry 正在迅速成为云原生计算基金会 (CNCF) 内最广泛的项目,拥有与 Kubernetes 一样多的提交,并获得了客户的广泛支持。 许多公司正在采用 OpenTelemetry 并将其集成到他们的应用程序中。 Elasti…

【AI+应用】一步步搭建聊天机器人搭配多种国内外大模型以及api接口调用

如果你看过我之前写的一篇文章 【AI应用】怎么快速制作一个类chatGPT套壳网站, 你可能顺利地使用chatGPT、Gemini, 用得很happy。 突然有一天,你发现一些网站,除了chatGPT、Gemini ,还可以切换使用国内外其他的大模型…

“风口”上的量化大厂“绣球”抛向中低频人才

量化人才这几年是人才舞台上的“香饽饽”。 遵循着低频不如高频、小厂不如大厂的薪资逻辑,各路人才被各路机构“哄抢”,薪资一路走高。 但2024年的“信号”再强烈不过——量化大厂们到了改变的时候了。 而量化大厂们显然对此已“心知肚明”....... “…

Vue.js 应用实现监控可观测性最佳实践

前言 Vue 是一款用于构建用户界面的 JavaScript 框架。它基于标准 HTML、CSS 和 JavaScript 构建,并提供了一套声明式的、组件化的编程模型,帮助你高效地开发用户界面。无论是简单还是复杂的界面,Vue 都可以胜任。 TinyPro 是一套使用 Vue …

固态存储是未来|浅析SSD架构的演进与创新技术-2

除了性能和容量这两个最大的诉求外,其他的需求已经成为SSD现场架构的核心竞争力。 一是安全性:随着数据安全威胁日益严重,SSD的安全设计成为关键,包括提供单芯片硬件信任根、遵循FIPS140-3安全标准以及支持一次性可编程位字段来锁…

基础:TCP是什么?

1. TCP 是什么? TCP(Transmission Control Protocol 传输控制协议) 是一种面向连接的、可靠的、基于字节流的传输层通信协议,由IETF的RFC 793 [1]定义。 TCP旨在适应支持多网络应用的分层协议层次结构。连接到不同但互连的计算机…

TCP相关特性

协议段格式 • 源/⽬的端⼝号:表⽰数据是从哪个进程来,到哪个进程去; • 32位序号/32位确认号:后⾯详细讲; • 4位TCP报头⻓度:表⽰该TCP头部有多少个32位bit(有多少个4字节);所以TCP头部最⼤⻓度是15*460 • 6位标志位: ◦ URG:紧急指针是否有效 ◦ ACK:确认号是否有效…

yocto是个什么东东

yocto不是个什么东东 在我们了解Yocto项目是什么之前,让我们先了解一下它不是什么。 Yocto项目不是用于现有硬件的软件开发工具包(SDK),而是用于构建这样一个工具包。 Yocto项目不是可以部署到硬件上的系统二进制镜像&#xff…

软考高级:BPR 和 BPM概念和例题

作者:明明如月学长, CSDN 博客专家,大厂高级 Java 工程师,《性能优化方法论》作者、《解锁大厂思维:剖析《阿里巴巴Java开发手册》》、《再学经典:《Effective Java》独家解析》专栏作者。 热门文章推荐&am…

ubuntu下docker安装

目录 官网链接 安装步骤 docker使用方法 拉取镜像 创建镜像 运行镜像 查看运行结果 保存镜像文件 传输到windows下 官网链接 Install Docker Engine on Ubuntu | Docker Docs 安装步骤 1.运行以下命令卸载所有冲突的包: for pkg in docker.io docker-d…

mysql实战开发之 mysql 删除一张表某个字段的sql语句

有一张表, 我需要删除这张表其中的某一个或者某几个字段, 相信大家在日常开发中应该会遇到这种情况, 然后刚好自己接触的项目安装的mysql关闭了允许远程连接的设置, 也就是说不允许使用类似于navicat 等可视化工具连接, 那么就没办法通过可视化工具直接去通过鼠标操作就可以 完…