多元融合:流媒体传输网络的全盘解法

news2024/10/6 6:03:38
我们在寻找「网络」的全盘解法。

音视频数字化在消费领域的红利俨然见顶,而产业级视频应用激活了更多场景下的业务模式。与此同时,音视频客户也从单一的业务需求,趋向于多种业务并行存在的需求。

固有的网络能满足新兴的业态吗?延时与成本之间存在区间最优解吗?业务的升级切换如何不再费时费力?在成本可控下网络的稳定性怎样保障?

一张多元融合的流媒体传输网络可否解决全盘之困?

面向未来的流媒体传输网络,又将从何揭开其神秘面纱?

本文由IMMENSE、「阿里云视频云」通讯服务负责人黄海宇和LiveVideoStack策划、采访而成。

网络新基建,若隐若现

降本还是网络最大痛点吗?“元数据”是新主角吗?

网络基础设施升级、音视频传输技术迭代、WebRTC开源等发展,音视频业务在消费互联网领域蓬勃发展,并逐渐向产业互联网领域加速渗透。

然而,行业红利期退却之后,以往隐蔽的音视频业务现象,逐渐显露。

一方面,“降本”是持续热议的话题。而在音视频应用中,网络传输在IT成本中占比很高,例如,在一个典型的直播应用中,网络传输成本占总成本70%以上。于是,在降本增效的大背景下,降低网络传输成本,是行业客户和云厂商共同面临的课题。

另一方面,“延时”带来更多价值和空间。从消费端的实时交互,到产业端的实时远程,对视频流的延时要求越来越高, 在云渲染、云游戏、数字虚拟场景中,涉及复杂的编码、解码、传输环节,而最复杂的瓶颈就在于传输网络的时延,但网络的构成与影响因素高度复杂,对其延时的提升也是极大挑战。

与此同时,新趋势的生长也带来更多挑战。

不久前,苹果Vision Pro在 WWDC 2023 亮相,推出其首个空间计算设备,将热度渐消的元宇宙重新拉回大众视野。

图片来源于网络

对未来的想象,不再局限于头盔上的渲染视频,更涉及到云端的交互与合成。然而,元宇宙的真正繁荣,不仅需要MR硬件终端的性能升级,更取决于流媒体传输网络的迭代演进。

我们发现,当下的海量视频主要基于传统拍摄模式而生,可以预想,未来源自渲染合成的视频比例将显著增加,这一趋势势必带来海量的计算和传输需求,同样也带来计算成本和传输成本的极大考验。

同时,这也意味着网络需要承载更加不可估量的数据量级,这其中,不仅有常规的音视频,更涵盖更多维度的数据传输,比如基于远程场景、云游戏下的控制信令数据、用于控制渲染视频生成的“元数据”,可以表达更复杂的立体场景信息。

如此来看,需要一张承载多元内容的强大网络,同时提供高性能的云边计算能力,其作为新基建才能支撑未来式的视频化业态。

「Unified」能解决所有关键吗?

更低成本、更低延时、更多算力结合、更多维内容传输,这些无疑都是传输网络的趋势关键,而怎样的招式可以全盘解决?也许是“Uni”。

Uni源于Unified,意味着“统一”。

在网络上,我们正在探索落地更好的“Uni”技术、真正的“Uni”能力,创造由“Uni”带来的业务价值。

阿里云视频云基于广泛的异构节点,构建了全分布式、超低延时、多业务支撑的多元融合流媒体传输网络——MediaUni

这是在我们的全球实时传输网络GRTN之上,以“大一统”的理念对网络深化设计,实现网络底座的全新升级

MediaUni打通底层资源,统一技术架构,以一张流媒体传输网络,实现音视频应用中多形态的内容传输,并满足更低成本、更低延时的多元融合业务需求。

延时可以是自由的

任何延时的业务,都能跑在一张网上?

得益于底座能力和关键技术的持续突破,音视频服务已实现了从传统的点播、直播,到实时音视频的深化发展,未来,还将撬动传统行业中众多强实时、强互动场景的数字化升级。

其中,“时延”首当其冲成为最需攻克的难题之一。

以一张网,MediaUni能够支撑全域延时的业务:

从普通直播(HLS/FLV)、到基于WebRTC技术的超低延时直播RTS(约1s左右延迟)、再到实时音视频传输(如直播连麦、远程监考等场景),同时,更可支持对延迟要求极高的云渲染、实时远程控制等业务,实现所有业务真正跑在一张网上

延时“抢跑”,怎样实现?

从根本上看,网络的延迟源自两方面:物理的延迟与IP网络的不可靠。

对抗物理的延迟,MediaUni基于全球3200+边缘下沉节点的就近分布,缩短了与用户之间的“最后一公里”,缩短数据的传输路径,以便更快感知传输网络质量的变化。

通过将渲染服务部署到靠近用户的节点,阿里云视频云在双11支持淘宝直播全真虚拟互动空间“未来城”,实现超万路并发在线的虚拟直播,并在2023央视春晚,以低延时传输云渲染技术打造了首个元宇宙庙会,实现极致的超低延时体验。

淘宝3D虚拟电商空间“未来城”

对抗IP网络的不可靠性上,MediaUni设计了实时感知系统,实现对节点的负载、链路的网络状况、以及业务关键信息的秒级感知,并基于感知数据,智能调整调度策略与路由策略,可以更好地分配物理资源,选择服务质量更高的物理链路。

同时,通过不断迭代的QoS技术,在拥塞控制、FEC、多径传输等方向持续优化,对抗网络中的丢包、延迟与乱序,以满足更低的网络延时。

目前,科学界公认的人类极限反应速度为100毫秒,一般人的反应在0.2~0.3秒间,在百米赛跑中,枪响后的0.1秒内起跑会被视为“抢跑”,而MediaUni支撑实现的云渲染场景,已突破60ms以内的端到端交互延时,可谓音视频延时的“抢跑”。

延时vs成本,网络可以handle?

众所周知,在网络优化到一定程度以后,延时和传输成本会成为一对矛盾

例如,在带宽允许范围内,为对抗丢包,协议栈不惜代价进行重传或增加FEC,有效降低传输的延迟,但会因此付出更高的传输成本。

在行业普遍追求“快与更快”之际,低延时与低成本之间,是否有两全之法?

对此,MediaUni的精要在于将降低延时的手段与增加传输成本进行量化,再根据业务的场景提供ROI最高的综合方案,将每个bit的传输价值都发挥到极致

➤ 对于普通的娱乐直播,其互动方式为弹幕,可以采取5s左右的FLV直播;

➤ 对于世界杯等赛事直播,可选用延迟1s左右的低延时直播;

➤ 对于电商直播,通过AB测试发现,采用延时低于1s的互动直播,能够对GMV有一定的提升。

由此可见,能够针对不同业务场景进行网络的精细化运营,自由选择成本可控的业务延时,才是真正的“延时自由”。

多元融合,红利释放

业务复用,就是最大的技术普惠?

依托于强大的底层基础设施资源,和长期积累的音视频技术能力,相比于其他赛道玩家,云厂商在网络服务中具备规模优势。

此外,通过一张网络支持多元业务,“业务复用”本身将持续释放技术红利。

“红利”可以透过三点显现:

第一,业务混跑,驱动资源复用率的提高。

不同业务的错峰复用率会更高,从而带来更高的计算资源、网络资源复用率,如大部分会议、远程监控等业务都处于白天工作时间,这与互联网娱乐等“夜间经济”形成很好的错峰运行。

第二,技术复用,带来研发边际成本的降低。

在流媒体传输中,无论是音视频还是消息信令的传输,无论是直播还是实时通讯业务,都需要解决基于大量节点的路由问题、全局的快速信息感知问题、协议栈优化抗弱网问题

通过使用一张网络支持多元业务,可以复用这些基础技术,使得在同样的研发投入上,获取更优的技术指标。

第三,云产品的使用更便捷、更高效。

由于多业务的支撑,用户可以更方便地升级服务或者组合出新的场景化方案。

例如,通过阿里云控制台,用户只需“一键升级”,就可以将延时5s左右的普通直播,切换成延时仅为1s的超低延时直播RTS,或者延时在400ms以内的互动直播。

从资源利用、研发成本,再到产品使用,一张多元融合的网络实现了最极致的红利释放。

支持的业务多了,会打架吗?

在驾驭“Uni”之下的多元业务时,MediaUni不可避免面临着许多技术挑战。

其中,最大的挑战,来自于多业务复用之后对工程能力的要求

一张网络支持多个业务以后,需要解决业务之间相互影响的问题,解决业务功能快速迭代的问题。

而MediaUni,通过良好的模块化设计来进行业务的隔离,减少不同业务的相互影响;同时,MediaUni构建了可编程能力,对于一些简单的业务需求,可以通过运行时可编程来解决,从而满足业务功能的快速迭代。

再者,多元业务复用的另一个技术挑战,来源于资源的复用,即不同业务对资源消耗的瓶颈可能不同,例如直播的瓶颈在于带宽,音视频通讯中复杂的QoS策略可能带来CPU的瓶颈,这时候需要更智能的调度系统来对不同业务进行编排。

未来的N种可能

一张传递“人类五感”的网

在过去的几十年中,通过一代代技术人的努力,人类的视觉和听觉已经得到了较好的数字化呈现,实现了如今低延时、高可靠的音视频体验。然而,人类的感觉除了视觉与听觉之外,还包括嗅觉、味觉、触觉等。

可预见的是,沉浸式XR作为面向未来的交互形态,将需要同时对嗅觉、味觉、触觉等感官信息进行完全模拟和实时交互,从而实现用户体验扩展与人机互动,给用户创造身临其境、感同身受的逼真体验。

面向未来的流媒体传输网络,将实现更多维数据的高效传输。

未来,网络将支撑多种感觉(如味觉、嗅觉、触觉甚至情感等)的互动通信,人类多维感知的数据化、交互协作,也将在同一张网内进行

如同游戏手柄上的震动一般,刺激着一个复刻真实世界的真正元宇宙诞生。

三管齐下,优先布局

为了支持未来多感官的音视频应用,流媒体传输网络将具备毫秒级的延时、与计算的紧密结合、元数据的传输能力三大关键特征,而MediaUni多元融合流媒体传输网络正在这三个方面化深度演进。

➢ 高质量的毫秒级延时

在音视频全链路延时中,网络传输延时,是其中最困难、优化空间最大的部分。

MediaUni通过大量的节点覆盖和极具媒体特性感知的QoS优化,在云渲染场景已达60ms以内的端到端延时,并持续探索更低延时的传输能力,未来将在20-100ms之间寻求延时的极致与质量的平衡。

 收放自如的算网

网络天然就靠近用户,我们希望通过网络连接分布式资源,有效促进算力资源的按需“流动”,弥补终端算力的不足。

利用全球广域的分布式计算能力,MediaUni正在实现计算与传输的统一调度,已将部分实时媒体处理的业务部署在传输网络上,并支持实时启动处理任务,在降低用户延时的同时,有效优化媒体的网络传输成本。

➢ 元数据传输

元数据(Metadata),越来越成为音视频产品的一部分,结合元数据自定义音视频功能,可以更好满足场景的个性化需求。尤其在通向“人类五感”传输的网络世界里,多维感官的数据化、精准化,更需要元数据的支撑。

在音视频传输之外,MediaUni也支持更多维度的数据内容,例如消息信令的传输,进而可以扩展到更丰富的IM、多场景远程控制、元宇宙等业务。未来,随着多感官网络通道的真正打开,MediaUni将发挥更大的能量。

面向未来,MediaUni将如何实现「多元融合」下的新升级?

敬请期待7月28日

LiveVideoStackCon2023上海站

阿里云视频云专场

阿里云智能高级技术专家带来演讲

《MediaUni:面向未来的流媒体传输网络设计与实践》

一同走进“多元融合”的网络世界!

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/744299.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

帧同步实现PuppetMaster布娃娃系统的问题

1)帧同步实现PuppetMaster布娃娃系统的问题 ​2)如何屏蔽Unity打包在IQOO安卓手机上出现一侧是黑边的现象 3)SLG或者策略游戏的联盟边界线是如何实现的 这是第343篇UWA技术知识分享的推送,精选了UWA社区的热门话题,涵盖…

Acwing算法基础 前缀和与差分

前缀和与差分 AcWing 795. 前缀和 import java.util.*; public class Main{public static void main(String[] args ){Scanner scnew Scanner(System.in);int nsc.nextInt();int msc.nextInt();int[] arrnew int[n1];arr[0]0;for(int i1;i<n;i) {arr[i]sc.nextInt()arr[i-1…

基于Java+Swing实现表白墙的效果

JavaSwingmysql员工工资管理系统 一、系统介绍二、功能展示1.效果展示 三、系统实现1.salary.java 四、其它系统五、获取源码 一、系统介绍 使用javaswing桌面编程技术实现的一个表白墙的效果 二、功能展示 1.效果展示 基于javaswing表白墙的效果 三、系统实现 1.salary.ja…

Python实现AdaBoost回归模型(AdaBoostRegressor算法)并应用网格搜索算法调优项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档代码讲解&#xff09;&#xff0c;如需数据代码文档代码讲解可以直接到文章最后获取。 1.项目背景 AdaBoost算法&#xff08;Adaptive Boosting&#xff09;是一种有效而实用的Boosting算法&#xff0c;…

C++ | 反向迭代器

目录 前言 一、基本框架 二、起始位置和结束位置 三、反向迭代器的自增与自减 四、反向迭代器的判断 五、list类的修改 六、单独设计反向迭代器类的意义 前言 反向迭代器实际上与我们前面的stack、queue、priority一样&#xff0c;都是适配器&#xff1b;我们可以通过正向…

国网技术学院MySQL课堂练习

一、数据库的安装和配置 在虚拟机中安装WINDOWS7操作系统 正常安装&#xff0c;查询安装教程即可安装必备组件和MYSQL5.7数据库 正常安装&#xff0c;查询安装教程即可修改my.ini配置文件中关于character_set的相关设置 直接补下面的代码即可&#xff0c;作用为设置默认的内…

Hudi基础知识讲解

Hudi概述 Hudi是一种数据湖的存储格式&#xff0c;在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎&#xff0c;提供IUD接口&#xff0c;在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 基础架构图 Hudi特性 ACID事务能…

将一个数组对象里的属性值全部追加到另外一个数组的对象里

介绍 将一个数组对象里的属性值全部追加到另外一个数组的对象里&#xff0c;这里需要使用到 map 遍历&#xff0c;循环数组&#xff0c;依次处理元素&#xff0c;实现重组数组对象 tips&#xff1a; map() 不会对空数组进行检测。 map() 不会改变原始数组。 Object.assign(),…

RocketMQ5.0消息存储<二>_消息存储流程

RocketMQ5.0消息存储<二>_消息存储流程 一、消息存储概览 如下图所示,是消息从生产者发送消息到消费者消费消息的大致流程。 step1:生产者发送消息到消息存储Broker端; step2:单一文件Commitlog存储所有主题消息,确保顺序写入,提高吞吐量; step3:消息通过堆外缓存,…

YOLOv5解析 | 第五篇:yolo.py文件解读

一、前言 文件位置:**./models/yolo.py** 这个文件是YOLOv5网络模型的搭建文件,如果你想改进YOLOv5,那么这么文件是你必须进行修改的文件之一。文件内容看起来多,其实真正有用的代码不多的,重点理解好我文中提到的一个函数两个类即可。 注:由于YOLOv5版本众多,同一个文件…

Nacos详解

Nacos详解 注册中心常见的注册中心ZookeeperEurekaConsulNacos Nacos 注册中心Docker安装&#xff1a;使用&#xff1a;1、引入 Maven&#xff1a;2、添加注解3、配置Nacos其他使用&#xff1a; Nacos 配置中心统一配置管理添加配置文件从微服务拉取配置依赖 Maven&#xff1a;…

工业大数据的来源是什么?有什么用?和工业互联网有关系么?

工业大数据的来源因特定行业和企业而不尽相同。常见的数据来源包括&#xff1a; 1.传感器数据&#xff1a;工业系统和设备通常配备传感器&#xff0c;用于收集温度、压力、湿度、振动等各种参数的数据。 2.机器生成的数据&#xff1a;包括机器和工业设备在运行过程中产生的数…

Java之SpringCloud Alibaba【三】【微服务Nacos-config配置中心】

Java之SpringCloud Alibaba【三】【微服务Nacos-config配置中心】 一、Nacos-config配置中心1、官方文档 二、快速配置1、Nacos-config基本操作2、Nacos配置中心使用3、Nacos客户端 每10ms去 注册中心 进行判断 根据MD54、基于dataid 为yaml的文件扩展名方式5、支持自定义Group…

阿里云OSS使用(小白也看得懂)

oss简介 oss是对象存储服务&#xff08;Object Storage Service&#xff09;的缩写&#xff0c;是一种分布式存储服务&#xff0c;用于存储和访问大规模数据。它提供了可靠、安全、低成本的数据存储解决方案&#xff0c;可以通过网络随时随地访问存储的数据。oss常用于存储图片…

Vue中实现图片黏贴上传到服务器:功能分析和实现

主要的知识点是&#xff0c;浏览的paste事件&#xff0c;clipboardData。 paste 一个标准的Dom事件&#xff0c;粘贴事件&#xff0c;会在用户按下Ctrlv ,或者通过鼠标复制时触发.像其他事件一样&#xff0c;我们可以通过addEventListener为一个Element添加一个粘贴事件的监听…

华为、阿里巴巴、字节跳动 100+ Python 面试问题总结(三)

系列文章目录 个人简介&#xff1a;机电专业在读研究生&#xff0c;CSDN内容合伙人&#xff0c;博主个人首页 Python面试专栏&#xff1a;《Python面试》此专栏面向准备面试的2024届毕业生。欢迎阅读&#xff0c;一起进步&#xff01;&#x1f31f;&#x1f31f;&#x1f31f; …

三个视频怎么合成一个视频?分享简单好用的合并方法

通过将多个视频合并成一个&#xff0c;可以将分散的内容整合在一起&#xff0c;形成一个连贯的故事或主题。这对于制作影片、剧集、纪录片或视频日志等需要综合多个片段的项目非常有用&#xff0c;可以产生更连贯和流畅的观看体验。那么怎么将视频进行合并呢&#xff1f;给大家…

维度建模中的缓慢变化维

整理不易&#xff0c;转发请注明出处&#xff0c;请勿直接剽窃&#xff01; 点赞、关注、不迷路&#xff01; 摘要&#xff1a; 类型1.在当前数据行更新当前值&#xff0c;只有最新状态&#xff1b; 类型2.拉链表&#xff0c;保留历史又有最新状态&#xff1b; 类型3.新增列&am…

腾讯云CVM云服务器实例族是什么?区别选择攻略

腾讯云服务器CVM有多种实例族&#xff0c;如标准型S6、标准型S5、SA3实例、高IO型、内存、计算型及GPU型实例等&#xff0c;如何选择云服务器CVM实例规格呢&#xff1f;腾讯云服务器网建议根据实际使用场景选择云服务器CVM规格&#xff0c;例如Web网站应用可以选择标准型S5或S6…

Pytorch实现warm up和consine decay

在深度学习领域&#xff0c;模型训练过程中的不稳定性是一个常见的问题。为了解决这个问题&#xff0c;在Resnet这篇论文也提及了Warm Up的方法&#xff0c;通过逐渐增加学习率&#xff0c;引导模型在训练初期更稳定地收敛。同时在warm up之后结合consine decay的方法让训练变得…