低延时视频技术的应用场景和挑战

news2025/1/20 1:44:49

bbd6c5a1033dadbc97af5c7c319f8e1a.jpeg

f15bee73b4e19f8d6691d18a063feac2.gif

编者按

无线网络对人们的生活产生了巨大的影响,而5G技术的引入将彻底改变我们与世界互联互通的方式。在5G时代,实现万物互联离不开低延时技术的应用。

LiveVideoStackCon 2023 深圳站邀请到秒点科技的CEO扶凯,为大家分享低延时技术在物联网、远程协作、云游戏等领域的创新应用,分析该技术所面临的技术挑战和市场壁垒,同时就如何打造一家具备全球竞争力、超越抖音等强势竞争对手的低延时视频技术公司提出相应建议。

文/扶凯

整理/LiveVideoStack

大家好,本次我将结合自身在业内二十余年的工作经验,就商业盈利提出一些建议。

虽然我国一些行业领域受疫情影响,当前正承受着经济下行的压力,但挑战也意味着机遇,服务器租赁、游戏等行业反而迎来了上升期,万事万物时刻在发生变化。

我一直认为,选择比努力更重要,个人的能力素质可以夯实自身的下限,而把握机会才能决定人生的上限。因此接下来我会通过对计算机行业的发展趋势以及低延时技术应用进行分析,帮助大家更好地选择自身的职业生涯走向。

e566d4062155da5c2cc38bbedf068b32.jpeg

本人于2008年自深圳前往北京,加入当时被称为CDN行业“黄埔军校”的蓝汛网络科技公司。2011年,加入土豆网负责CDN技术。2013年加入音悦台。2015年,回到深圳创立了云帆加速。2019年加入国网信息通信产业集团北京分公司。目前回归创业,成立了秒点科技。

01401f5495a1a6e9515de1df48d55f10.jpeg

可能与其他人的看法不同,我认为改变世界是一个综合的过程。在这之中,上图列举的四项技术将发挥关键作用。

第一是电池技术,它的发展将带来更高能量密度、快速充电、长寿命、无线充电等方面的突破和创新;第二是屏幕技术,我认为眼镜、幕墙乃至桌面等所有的玻璃平面都可以成为屏幕介质,它的发展有望彻底改变未来人类的交互方式;第三是5G技术,它是数字世界革命,实现万物互联的基石;最后是AI技术,人们可以通过它享受到更智能化的助手,帮助他们解决问题和提供各种服务。

从近三十年来这四大技术的发展历程可以看出,计算机、信息化行业的发展正迎来百年未见之大变局,不断迭代优化的技术成果充分提高了民众的生活体验。

e04a626a6df8c44b14adeca5d782afc5.jpeg

3G时代,中国最具社交影响力的应用是微博。通过它可以迅速了解到世界最新的各种热点消息,它代表了一种全新的媒介形态,这令所有人趋之若鹜。彼时蓝汛科技号称掌握了全国80%的流量,但也未能预料到中国互联网如今的盛况。

4G时代,抖音、快手、映客、支付宝、微信、美团等等应用诞生,相信没有4G基础建设作为铺垫,它们不可能获得现在的发展。网络基础设施建设是后续技术迭代爆发的基石。

到了如今的5G时代,相信在电池、屏幕、5G通信和AI技术的加持下,我们终将迎来万物互联互动,新的物联网生态能够支持万物的标签化,从而实现互联,并且延迟足够低、建连时间短。不难看出,远程互动通信和低延时技术必将是其中的关键。

fb3276e6d28107fdb400273216b07c4d.jpeg

那么我们先来看看远程互动的现状。当前,远程交互技术已经能支持远程与本地画面超低延迟传输,实现近乎亲临现场的实时远程操作效果。

例如在电网检修时,技术人员可以远程指挥非专业者进行维护作业。或在医疗场景下,医生异地操作机器人远程手术、通过护士携带的摄像设备远程问诊等等。可以看到,低延时技术的应用已对传统工作方式造成了很大影响。

1c14fd550a4d81c096a02ac4ed15c81b.jpeg

我认为远程交互的未来将从第三视角转变为第一视角,如远程操控机器人、无人机等等。当前腾讯已经和三一重工研发了各类支持远程操控的施工机械和卡车,相信未来还会有进一步的发展。

小鹏汽车此前也和我们协商,希望借助远程互动技术研发汽车的停车场无人泊车和远程接人功能,用户可以在到达停车场后下车,实现远程停车入位,这有效解决了停车场排队等待时间长的问题。2023年,小鹏X9车型已经官宣了支持该功能,这只是远程互动技术进化的一个缩影。

2d8e81916b6d54923648228cd06f6c20.jpeg

通过前瞻互联网行业的未来演进,我认为打造一个支持万物互联的平台非常重要,于是决定从最基础的控制和交互开始做起,最终推出了秒点远控软件,它支持以上几种功能。

a7c928dac72b3797c4c006f1554eafcf.jpeg

接下来介绍一个具体的远程互动应用案例。抖音认识到本地生活服务和旅游行业的商业前景,推出了营销旅游线路和景点门票的主题直播间,虽然成交量不低但仍存在几点瓶颈。

一是用户留存观看时间短,由于内容比较单一,用户容易审美疲劳离开直播间,以抖音的算法难以带来更多流量推送,一定程度上限制了用户量;二是直播场景单一,可讲解的内容少;三是主播需要手持直播设备前往户外,直播状态容易受到气候影响。

针对以上问题,部分直播间已经采用了互动远程导播方案。由主播在室内远程操控无人设备拍摄户外画面并进行解说,与以前相比获得了更高的播放量和关注度。这是对低延时互动技术的典型应用。

6ccf04c9708be7f8dfda3a3c692495be.jpeg

对于以上场景,我们也结合自身考虑推出了一项远程互动导播产品,它把用户的手机打造为远程导播台,可将其他户外设备拍摄的多路画面汇集到用户手机,用户可以依据自身安排将收集到的画面作为直播间背景进行播放。这丰富了直播内容,有效增加了用户粘性。

在此基础上我们还开发了不同的用法,外景侧的手机负责现场走动并实时拍摄景区画面、声音,主播在室内负责解说,解说音频传输到外景侧手机合流后推流。目前来看,该产品面对主播用户获得了较好的商业收益。

ed3816283a31c418a6e6cbda82326a07.jpeg

我认为旅游业未来有望实现远程化,用户可以借助一个共同平台,通过远程机器人、无人机等设备实现在家沉浸式的远程旅游、无需规划攻略、舟车劳顿。

df7bb5bb1b7bd0ac8bd709e1130f9dd6.jpeg

我们对该远程产品的规划分为三步:首先,依靠抖音、快手等第三方直播平台提供远程导播台软件,帮助主播拓展业务场景,提升直播竞争力;接着,待累计一定规模的主播与粉丝数量后,从旅游直播行业切入打造自有直播平台,将用户商业价值最大化;最后,通过建立一个开放而创新的合作生态系统,吸引商家,无人机、机器人厂家入驻平台,共同探索新的商业机会,实现双赢的局面。

9b433d6a20c59b42efb9248f421d4382.jpeg

作为一家技术研发型企业,我们认为实现游戏、远程操控等远程互动应用的前提是低延时和高清。低延时是一项重要的技术挑战,我们针对它进行了多方面的优化。

例如:把原有的延迟较高的GDI采集方式改为DXGI,4k分辨率下的延时降低到了4毫秒;全面采用ZeroLatency模式的硬解编码,并且去掉B帧;鉴于对音频视频同步的要求不高,关闭3A算法;缩小Buffer等等。最终经过测试,无视网络条件的影响,传输延迟可达到50~80ms,在一般网络环境下,延迟约为120ms。

4cf62f34812ee921b8e93d549fd7c602.jpeg

另一个问题是保证质量和稳定性。由于我们的人力有限,因此在保证质量上,我们选择采用新型编码器。

而稳定性方面有一个较大的问题是网络流量容易发生波动,这尤其体现在我们的云电脑场景,流量不稳定容易导致拥塞控制算法误判,进而引发网络中断。针对稳定性问题,我们设计了一套名为加权移动平均的流量平滑算法,上图展示了该算法使用前后的流量波动对比。

e1a8e787e300ccdfad5e345b281fece6.jpeg

最后,我认为在未来的5G时代,互动非常重要。未来必将诞生一个支持万物互联的沉浸式远程互动平台。

我今天的分享就到这里,谢谢大家!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1339886.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

家政行业的小程序都需要具备哪些功能?

家政服务小程序,覆盖多城,在线派单 适合行业:家电维修、家政保洁、养生护理、美容美发、预约服务上门等 系统功能:服务管理、商品管理、拼团/秒杀、订单管理、会员管理、派单管理、师傅管理、商家/服务点、财务管理、城市代理、次…

Python算法例30 统计前面比自己小的数

1. 问题描述 给定一个整数数组(数组大小为n,元素的取值范围为0~10000),对于数组中的每个元素,计算其前面元素中比它小的元素数量。 2. 问题示例 对于数组[1,2,7,8,5]&…

分享44个PyQt5源码总有一个是你想要的

分享44个PyQt5源码总有一个是你想要的 学习知识费力气,收集整理更不易。 知识付费甚欢喜,为咱码农谋福利。 链接:https://pan.baidu.com/s/1_5H_0Ydg0XUa1fz5Jok51Q?pwd6666 提取码:6666 项目名称 B站直播弹幕姬&#xff…

快速、安全、高效地传输海量小文件

随着互联网技术的不断进步,我们正迈入信息爆炸的时代。在这个时代,企业每天都需要在互联网上传输海量的小文件。与传输常见的大文件相比,海量小文件的传输变得更加困难。接下来,我们将分析海量小文件传输面临的挑战,并…

云原生机器学习平台cube-studio开源项目及代码简要介绍

1. cube-studio介绍 云原生机器学习平台cube-studio介绍:https://juejin.cn/column/7084516480871563272 cube-studio是开源的云原生机器学习平台,目前包含特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标…

Modbus RTU转Modbus TCP模块,RS232/485转以太网模块,YL102 多功能串口服务器模块

特点: ● Modbus RTU协议自动转换成Mobus TCP协议 ● 100M高速网卡,10/100M 自适应以太网接口 ● 支持 AUTO MDI/MDIX,可使用交叉网线或平行网线连接 ● RS232波特率从300到256000可设置 ● 工作方式可选择TCP Server, TCP Client, U…

中间件系列 - Redis入门到实战(原理篇)

前言 学习视频: 黑马程序员Redis入门到实战教程,深度透析redis底层原理redis分布式锁企业解决方案黑马点评实战项目 中间件系列 - Redis入门到实战 本内容仅用于个人学习笔记,如有侵扰,联系删除 学习目标 Redis数据结构Redis网…

企业员工2024年工作计划和目标怎么写?怎么提醒自己按时执行?

2024年的钟声即将敲响,对于众多企业员工而言,新的一年意味着新的挑战和机遇。而在这之前,制定一份明确的2024年工作计划与目标就显得尤为重要。但不少员工在面对这个任务时,往往感到无从下手,那么如何撰写一份实用且有…

pyCharm 打印控制台中文乱码解决办法

解决方法 在 "File" -> "Settings" 中的控制台设置: 在 "File" -> "Settings" 中,你可以找到 "Editor" -> "General" -> "Console"。在这里,你可能会找到…

frp(实现内网穿透)服务搭建与ssh连接测试

frp 内网穿透 内网穿透的英文叫做NAT traversal,又被称为端口映射或内网映射,内网穿透是网络连接术语,如下图如果我(局域网A中的一台服务器)想访问另一个局域网c中的一台服务器,可以通过拥有公网ip的B服务…

自动备份B站Up主最新视频到百度网盘的Python脚本详解

自动备份B站Up主最新视频脚本详解(Win和Linux有些不同) 前言: 次篇文章启发于某些大胆的UP主(老马)的多次被封,并被下架一些视频。有些人并不能及时观看到,故写一个脚本自动下载最新视频。 &am…

Google Chrome 现在会在后台扫描泄露的密码

谷歌表示,Chrome 安全检查功能将在后台运行,检查网络浏览器中保存的密码是否已被泄露。 如果桌面用户正在使用标记为危险的扩展程序(从 Chrome Web Store 中删除)、最新的 Chrome 版本,或者如果启用安全浏览来阻止 Go…

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之线性布局容器Row组件

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之线性布局容器Row组件 一、操作环境 操作系统: Windows 10 专业版、IDE:DevEco Studio 3.1、SDK:HarmonyOS 3.1 二、Row组件 沿水平方向布局容器。 子组件 可以包含子组件。 接口 Row(…

【代码随想录】刷题笔记Day41

前言 早上的时间对我来说太重要了,效率很高,感觉是高中养成的习惯,但是就是睡太晚了,早上只有区区两个消失,感觉不够用啊,希望之后可以早点睡和早点起吧,就像大佬说的,人的身体是有…

外贸网站建站怎么做?海洋建站有哪些步骤?

外贸网站建站需要哪些资料?如何选择外贸建站系统? 外贸企业越来越重视在线业务,而拥有一个专业、高效的外贸网站已经成为成功开展国际贸易的关键一步。海洋建站将为您详细介绍如何进行外贸网站建站,让您的企业在全球市场中脱颖而…

[排序算法]:归并排序(Merge Sort)

概念: 归并排序,是创建在归并操作上的一种有效的排序算法。算法是采用分治法(Divide and Conquer)的一个非常典型的应用,且各层分治递归可以同时进行。归并排序思路简单,速度仅次于快速排序,为稳定排序算法…

python的二分查找库bisect,可用于简化繁琐的if条件分支

if条件分支的函数 之前实现了一个函数功能&#xff0c;大意是根据不同的时间天数&#xff0c;返回不同的值。 def analyse_value(days_num:int):if days_num 1:value RD1delif days_num > 1 and days_num < 7:value RD7delif days_num > 7 and days_num < 14:…

Flink1.17实战教程(第三篇:时间和窗口)

系列文章目录 Flink1.17实战教程&#xff08;第一篇&#xff1a;概念、部署、架构&#xff09; Flink1.17实战教程&#xff08;第二篇&#xff1a;DataStream API&#xff09; Flink1.17实战教程&#xff08;第三篇&#xff1a;时间和窗口&#xff09; Flink1.17实战教程&…

JUC JMM Java 内存模型

文章目录 计算机存储系统高速缓冲存储器一致性 JMM&#xff08;Java Memory Model&#xff09;可见性原子性有序性指令重排Happens-Before 原则 volatile 关键字volatile 保证可见性volatile 不能保证原子性volatile 禁用指令重排&#xff08;保证有序性&#xff09;内存屏障&a…

Unity 代码控制Text自适应文本高度

在使用代码给Text赋值时&#xff0c;且文本有多段&#xff0c;并需要根据实际文本高度适配Text组件的高度时&#xff0c;可以使用以下方法&#xff1a; //Text文本 public TextMeshProUGUI text;void Start() {//代码赋值文本text.text "好!\n很好!\n非常好!";//获…