基于分发与计算的GRTN全球实时传输网络

news2024/10/3 2:19:33

在这里插入图片描述

一张能同时满足「分发」与「计算」需求的网。

从直播趋势看「分发」与「计算」

阿里云直播产品架构图中,主要分为端和云两个部分:在端侧,主要包含推流端和播放端;在云侧,一是基于分布式节点构建的传输网,二是在阿里云中心构建的不同Region之间的直播中心,提供计算服务,包括直播所涉及的转码、AI、导播、截图、录制等等。

在这里插入图片描述

直播技术的发展带来分发和计算的巨大需求。

从分发角度看,直播产生的流量带宽越来越高,用户对直播延迟等播放体验的要求也越来越高,主播连麦PK、云游戏、4K/8K、AR/VR/XR等超大流量应用的交互性要求越来越高。

从计算角度看,越来越多重计算的应用在诞生,比如:需要高码率或巨大算力做视频转码处理和AI分析。

综合来看,想要把直播做得更好,除了端,还有云,而云的优化核心是「分发」和「计算」两大部分。

分发:构建高效传输网络

首先,在分发层面,阿里云基于中心和边缘,以及其他的异构节点,构建了一张超低延迟、分布式下沉,能支持通信级别的传输网络,也就是阿里云全球实时传输网GRTN。

在这里插入图片描述

GRTN核心关键点就是分发体系的升级,将原先树状网络中的一级网络、二级网络汇聚,基于汇聚资源做分层,相当于从原来的层级网络变为对等网络。基于对等网络,阿里云再构建了全局异常发现,包括实时的路径计算、基于流维度的路径再编排,最后再生成当前流或任务的最优传输路径。

传统的传输网络,无论对流做怎样的处理,都要经过固定层级的链路,而GRTN可以根据主播和观众的实时状态、位置做路径选优,比如主播与观众都在上海区域,同一个节点就可以完成分发,节省了多次中转的步骤,直播延迟自然降低很多。根据阿里云的数据统计,整体路径从原来平均4跳降低到2级跳。传统网络分发的延迟大约是5-6秒,基于GRTN整个网络和全链路RTC传输,可以将延时降低至少95%,实现秒级延迟。

目前,GRTN网络已经充分应用于阿里生态,如手淘的全链路RTC电商直播等。原先手淘电商直播是基于层级,现在无论是同运营商、跨运营商,还是远距离,链路都是一个多变的全分布式下沉结构;无论是跨国还是跨洲,都是动态化编排。

去年,GRTN的相关研究成果,即提供音视频传输技术的优化和服务保障,也被SIGCOMM收录并发表了论文。

在这里插入图片描述

GRTN网络带来的第二个核心变化是,原来需要做额外的连麦或旁路的MCU集群以及合流,将其改造成全链路RTC之后,不再需要额外的旁路RTC系统,实现在传输网通道进行直播推流、拉流播放、连麦,同时在端和流、云和流之间做动态调度,摒弃了一个业务用两套系统维。

通过一张网,一个内部传输协议,实现了业务的RTC、连麦、合流、播放一体化。

GRTN背后的基础设施资源

GRTN是基于全分布式下沉的,既有中心也有本地和边缘节点,再加上现场计算(MEC)或一些融合的资源,阿里云把这些资源都纳入GRTN管理起来,并按需调用。

不同类型资源按照不同的特性可以划分为中心云资源、边缘云资源和多云融合资源。中心云资源可靠性很高,但分布不是很广;边缘云的资源等级次之,但性价比更高。将不同的异构资源融合,适配不同的业务和场景,从而达到用整个分布式的所有资源构建起一张网,提供传输、计算服务。

在这里插入图片描述

借助阿里云分布式容器平台,能在平台上面管理并且实时、弹性地使用各种资源。该平台最大的特性是弹性可扩展的多资源纳管,不管是中心资源,还是边缘云分布式节点、多云融合资源,都可以在平台上通过一套接入注册机制进行纳管。阿里云容器管理平台为GRTN网络的计算提供支撑,当需要使用这些资源的时候,通过该平台就能获取异构资源。

核心优势

1 提升效率:为终端提供距离更近、时延更低的资源,实现快速资源纳管交付

2 降低成本:降低内部跨区域的级联传输成本

3 易运维:采用云原生交付方式,提升边缘应用可运维性,降低客户运维投入

4 低时延、提升用户体验:基于海量低延时的边缘集群资源覆盖,为客户提供时延更低的体验

将「计算」也在“一张网”内解决

GRTN网络可以实现网的对等传输,但如转码、AI处理等计算,大部分还是在中心。

既然流已经在GRTN网络里,且能够实现就近传输,能否把计算也在网里解决?

基于这一想法,阿里云提出了算网融合的实践。

下图是原有的传输和计算的形态,可以看到整体是分离的,数据都需要远距离传输到集中的中心区域做计算。基于GRTN的传输能力和分布式异构的计算资源,我们发现,GRTN 实际也能够承载计算的能力。

在这里插入图片描述

有了异构资源的快速纳管和弹性伸缩,同时配合算子的托管和触发条件自定义控制,GRTN 实现了Serverless 标准的集算子发布、托管、触发、升级一体的用户自定义的一个分布式计算平台。

当然,该计算平台跟当下的中心云 Serverless 计算平台相比还是有很多局限性,我们的定位就是基于 GRTN 传输的前提下的一个实时流媒体的垂直场景计算平台。

未来,关于音视频计算比例会越来越高,算力需求也会越来越大。我们的目标是基于 GRTN 这种网,实现传输和计算的融合,让传输和计算能够最有效的适配资源。

在这里插入图片描述

算子的注册和触发流程是什么?首先,用户基于算法做业务打包,比如做转码或者超分,打包好后上传到镜像中心,发布到GRTN 分布式资源上,当GRTN有一个流需要做计算的时候(上图左侧),计算和传输在一个节点发生;

当这个流需要计算,就按照用户定义的触发条件,当流被推上来之后或播放的时候,就从流媒体大脑查询整个流的信息,知道这个流现在在什么节点,节点附近的容器纳管的资源平台有没有资源?如果有资源,就可以做匹配计算,如果没有可以动态扩展和纳管。

当把这个任务从节点启动,节点内可以认为是内网环境,处理之后再推回到本节点完成接下来的分发。整个过程中没有在公网做额外的交互,就完成了计算的任务。

场景实践一:边缘转码

边缘转码场景下,原有的方案需要先到中心的GRTN节点,然后再到转码集群,转码完成之后再回推到 GRTN 节点,然后再分发到需要播放的节点播放。

在这里插入图片描述

新的方案中,用户推流不需要再往中心推,当有用户播放时就启动边缘推流地方的转码算子,在同一个节点完成转码和处理,同时可以分发到其他地方。

因为分发的链路是原有GRTN网络构建好的,只是额外增加了算力能力,转码完成之后可以认为原来推流的原始流节点有了两个能力,一个是原始流,一个是转码流。

该平台不一定适合所有的处理,但至少在实时流媒体的后处理和预处理上有优势,是提高效率和降低成本的主要动力和适配高效的方法,既节省了成本,又降低了延迟。

场景实践二:云游戏

云游戏是典型的云渲染应用场景,整个边缘的GRTN网络除了做直播以外,还是一个具有通信能力的分发网络,对于低延迟场景都适用,比如直播相关的连麦、RTC通信、云游戏通过GRTN网络也可以用串流来做。

在这里插入图片描述

云游戏的渲染大概分为以下几个基本业务接入步骤:用户接入,根据用户所在的区域分配,比如根据IP信息就近分配,用户接入后,在这个区域里启动渲染引擎,该引擎是用户自己定义的引擎,可以是某种游戏,也可以是元宇宙数字虚拟人,同时整个流信息管理得到整个信息之后,就可以和客户端进行交互,客户端就把流拉下来。

过程中除了串流,还有云游戏的操控,以及通过网关和背后的引擎做交互,整个过程跟转码或者其他类似的流媒体处理有一些相关性。

让流媒体服务无处不在

GRTN平台未来一定是异构资源的,资源一定是融合的,无论是中心的、边缘的、其它融合厂商的,只要资源适合场景,都可以通过阿里云容器云的异构纳管平台接入,做为临时资源或长期的弹性扩容。

在平台未来平台的形式上,第一是分布式,边缘天生就是分布式的;第二是小型化,边缘有零碎或者是小型的节点。

第三是自治性,每个区域的资源或节点自治的能力要有体现,纳管体系虽然统一纳管,但每个节点之间不应该有太大的关联性,不应该相关影响。

第四是协同性,分配资源时,从中心管控或者平台的角度是需要协同的,某个区域因为资源不足或者数据的流转是需要通过全局的协同调度,才能实现最优。

最后就是云原生,要做到任何一个资源在短时间内都能纳管入平台,在闲置的时候又能迅速被别的平台使用,这一定是云原生的。

GRTN致力于提供流媒体云原生的服务,方便客户能够构建自己的流媒体云原生应用,让流媒体服务无处不在。

阿里云将打造普惠的流媒体云原生生态,为用户提供更实时、更流畅以及更高清的视听体验。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/54209.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

mosquitto部署mqtt broker 并测试订阅与发布

mosquitto部署mqtt broker 并测试订阅与发布 1,MQTT协议介绍 MQTT(消息队列遥测传输)是ISO 标准(ISO/IEC PRF 20922)下基于发布/订阅范式的消息协议。它工作在 TCP/IP协议族上,是为硬件性能低下的远程设备以及网络状况糟糕的情况下而设计的发布/订阅型…

如何使用phpstudy在服务器上发布Discuz_X3.4_SC_UTF8_20220811和zzcms2023

Web-ZZCMS: 源码下载:http://www.zzcms.net/about/6.html Web-Discuz: 源码下载:https://www.discuz.net/ 首先安装phpstudy,傻瓜式安装教程,如果中途 遇到报错比如我遇到的是Apache未启动,80端…

Ansible自动化部署安装openGauss3.1企业版单机

文章目录一、背景二、环境准备三、具体实施步骤3.1、安装ansible3.2、配置主机清单3.3、测试主机连通性3.4、创建相关目录3.5、下载openGauss软件包到files目录3.6、创建变量文件3.7、创建安装时需要的xml模板3.8、创建任务文件四、执行自动化安装4.1、校验语法4.2、自动化安装…

CAD新手必练图形三

这次说的这个CAD新手必练图形,用到了CAD直线、圆、多边形、修剪和旋转等多个CAD功能命令,一起跟着操作一下吧 目标图形 操作步骤 1.使用CAD直线命令绘制一条垂直的直线和两条水平的直线,两条水平的直线之间的距离为15,并将他们修…

【CSDN竞赛第11期】编程竞赛总结

文章目录前言/背景题目与解题代码1. 圆小艺2. K皇把妹3. 筛选宝物4. 圆桌CSDN编程竞赛报名地址:https://edu.csdn.net/contest/detail/16 前言/背景 目前已经连续参加10次CSDN的编程竞赛了,这种比赛挺有意义,希望一直举办下去! 题…

JDBC 访问数据库

文章目录一、实验目的二、实验要求三、实验内容1、设计数据库表2、定义实体类3、定义数据库连接类4、实现数据库的增删改查5、测试用例一、实验目的 理解 JDBC 的工作原理,掌握 JDBC 访问数据库; 掌握常见数据库 MYSQL ; 二、实验要求 理解…

【华为上机真题 2022】字符串序列判定

🎈 作者:Linux猿 🎈 简介:CSDN博客专家🏆,华为云享专家🏆,Linux、C/C、云计算、物联网、面试、刷题、算法尽管咨询我,关注我,有问题私聊! &…

中断系统中的设备树__中断号的演变与irq_domain

1 中断号与硬件相关_号码固定 当我们的系统中只有一两个中断控制器时,上面的方法很有用,可以给每一个中断预先确定好他的虚拟中断号,但是当中断控制器越来越多、当中断越来越多,上述方法(virq和hwirq固定绑定)有缺陷: a. 增加工作…

马克思的手稿-第11届蓝桥杯Scratch选拔赛真题精选

[导读]:超平老师计划推出Scratch蓝桥杯真题解析100讲,这是超平老师解读Scratch蓝桥真题系列的第92讲。 蓝桥杯选拔赛每一届都要举行4~5次,和省赛、国赛相比,题目要简单不少,再加上篇幅有限,因此我精挑细选…

23软考备考已开始,网络工程师知识点速记~(2)

新一轮软考备考来啦~ 为了帮助大家提高备考效率,将2023上半年软考网络工程师知识点速记分享给大家,快来跟着一起打卡学习吧! 指令系统 指令系统是中央处理器所有指令的集合,通常一条指令可分解为操作码和地址码两部分&#xff…

python 从一道作业题到制作一个图形界面的“诈金花”游戏

题目很简单:就是自己写一个程序,实现诈金花游戏的发牌、判断输赢。 规则: 一付扑克牌,去掉大小王,每个玩家发3张牌,最后比大小,看谁赢。 牌型: 豹子:三张一样的牌&am…

Fluent案例:肾动脉RDN治疗过程的仿真

1 问题背景 肾动脉消融(Renal denervation,简称RDN)是一种治疗高血压的办法,其基本原理为利用插入肾动脉的电极消融导管进行射频消融,使肾动脉血管壁附近的交感神经因高温而损伤失活,减少神经系统过度活跃的…

想转行做IC,却找不到适合自己的岗位?

想跨行从事IC行业,但是没有一个比较好的学历,也没有一个很好的专业,或者受限于各种各样的外在条件,那么在这个行业里面,到底有没有个岗位能够适合自己上手呢? 当然有,不是所有芯片岗位都要高学…

什么是自监督,自监督和有监督的区别什么是SSL

有监督 就是让机器做题目,给他标准答案 那无监督 可以自己推出来的吧 就是没有给标准答案 也就是label 或者在目标检测里面说是groundTruth 什么是Ground-truth,Ground-truth什么意思_:)�东东要拼命的博客-CSDN博客_…

基于日特征气象因素的支持向量机预测电力负荷(Matlab代码实现)

🍒🍒🍒欢迎关注🌈🌈🌈 📝个人主页:我爱Matlab 👍点赞➕评论➕收藏 养成习惯(一键三连)🌻🌻🌻 🍌希…

tkinter绘制组件(37)——普通图片

tkinter绘制组件(37)——普通图片引言布局函数结构添加图片图片缩放完整函数代码效果测试代码最终效果github项目pip下载结语引言 其实,本来不打算专门为TinUI写图片元素控件的,让编写者自行使用PhotoImage类和画布自带的create_…

[附源码]JAVA毕业设计计算机类课程实验平台(系统+LW)

[附源码]JAVA毕业设计计算机类课程实验平台(系统LW) 目运行 环境项配置: Jdk1.8 Tomcat8.5 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目…

【编程题】【Scratch一级】2022.09 踢足球

踢足球 1. 准备工作 (1)选择背景Baseball 2; (2)删除默认的小猫角色,选择角色Ben和Soccer Ball。 2. 功能实现 (1)Ben初始造型为ben-a,初始位置为舞台左下角&#xf…

开发3年入职饿了么P6,全靠这份MyBatis学习笔记了

前言 相信大部分程序员工作中都有接触过MyBatis,那么它到底重不重要呢?答案是肯定的呀! 互联网公司基本都是用Mybatis做为持久层框架的,所以,Mybatis是一定要学的!!! 不管是在工作中…

[附源码]Python计算机毕业设计Django公共台账管理系统

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,…