大规模即时云渲染技术，追求体验与成本的最佳均衡

news2024/10/5 19:17:12

现实世界映射其中，传统文化沉浸其境，旧时记忆交互其间。

仲升｜技术作者

IMMENSE｜内容编辑

在刚刚过温的春节，云之上，带来了一场「数字文化」新体验。

游花车、舞狮子、踩高跷、放烟花、写福字……还记得儿时的春节习俗吗？如今这些习俗被“像素级”复刻进了“央博宇宙”里。今年大年三十，由中央广播电视总台“央博”数字文化艺术博物馆（简称“央博”数字平台）打造的全球首个元宇宙庙会——“央博新春云庙会”正式上线，为广大网友呈现了一场打破时空界限的新春云庙会，还原儿时的春节记忆。

一场由黑科技链接、创造的数字之旅，是在央视春晚上演的跨时空新春“云庙会”。现实世界映射其中，传统文化沉浸其境，旧时记忆交互其间，高复刻、零时差的全然沉浸背后，必然有一股强大的云力支撑，这便是阿里云“大规模即时云渲染技术”。

01 技术内核：轻量化、沉浸式、低成本

“大规模即时云渲染技术”是指，将大型3D沉浸式体验需要的图形算力、存储需求部署在云端，并通过实时音视频通信（串流）技术，使得玩家以极低的延时接收到实时渲染的画面，实现沉浸式交互。

其中，串流技术通过把用户终端设备上实时渲染画面的过程转化为视频流，并以高稳定、低时延的流媒体传输至玩家终端，让玩家摆脱本地硬件限制，是实现终端轻量化、沉浸式、低成本交互体验的关键因子。

02 60毫秒：交互延时“天花板”

《2023中央广播电视总台春节联欢晚会》21:27口播推介了“央博新春云庙会”的相关内容，全国并机频道总收视人次3.16亿次，口播后短短几分钟内，就有近百万用户涌入“央博”体验，系统出现明显的流量尖峰。

视频链接：https://v.youku.com/v_show/id_XNTk0Mzk3NTczMg==.html

面对网络流量洪峰，首要解决的是“零时差”的交互体验。

对此，直接的办法是增加网络的带宽，加之从成本、运营、维护的角度考虑，这对云计算的GPU弹性算力也提出了更高的要求。究竟如何才能克服玩家在体验过程中的时延、网络抖动等问题，实现万人在线 “零时差”交互？

最有效的解决方案就是应用一个“有保证”的策略对网络流量进行管理，即QoS（Quality of Service，服务质量）。对此，阿里云视频云技术团队在调度保障、延迟优化和卡顿优化这三大维度着力。

QoS保障中最基础的能力就是调度能力，为用户选择一个合适的节点来保证用户的最优网络接入，使得该用户的接入时延最低、网络抖动最小，从而获得最佳的云渲染推流体验。技术团队实现了基于运营商和地理位置的传统调度、实时测速、历史调度信息这三大维度的融合算法，保证玩家的最优网络接入。

在延迟优化上，技术团队对全链路各个阶段的时延消耗做了拆解，并对每个环节做了针对性优化，通过密集布点并优化调度策略、编解码策略、媒体传输策略和指令通信策略，最终将整体时延优化到60毫秒以内，真正实现云渲染和本地渲染在体验上的一致性。

在卡顿治理上，技术团队重点优化了带宽估计算法和平滑发送策略。其中，带宽估计算法以BBR为蓝本并做了针对性优化，快速、准确地估算出当前链路的带宽并反馈给编码器，以便编码器码率匹配实时的带宽。基于此算法，网络不会因数据过多导致拥塞，也不会因数据过少产生带宽浪费。

在现实情况中，如果数据发送太快会对网络产生冲击，反之则会增加时延，针对这一问题，技术团队基于对实时网络状态的精准把握来动态调整平滑发送策略，并为音频、视频、重传包、冗余包等数据设置不同的优先级，确保最重要的数据优先被发送，从而实现低时延下的卡顿优化。

画质的清晰与否，是玩家在互动体验中最能直观感受的。同时，画质提升和算法耗时的关系如同天平两端，为了保障用户体验需要在两者之间平衡。由于GPU渲染能力的差异，会存在如锯齿、渲染空洞、噪声等画质问题，在解决延时的基本体验问题后，阿里云视频云技术团队利用窄带高清技术提升画面清晰度。通过云端GPU与客户端CPU的联动，采用自研算法进行内容自适应的纹理与色彩增强处理。该算法性能十分优越，在A10上处理1080p图像的单帧耗时小于1毫秒，对全链路延时的增加可以达到被忽略的程度。

由于“央博新春云庙会”从立项到上线的时间只有50多天时间，为此技术团队采用H5 SDK实现串流接入，解决了主流浏览器在PC和手机上的兼容性问题。因此，只要有网络覆盖，玩家在任何时间、任何地点都可以体验。跨终端无缝切换，玩家可以在不同的设备上随意切换，而渲染进程不会产生中断。

03 云渲染的商业成本突破

体验之上，运营成本高成为云渲染商业化所面临的突出挑战。

如何最大程度利用云上渲染资源？阿里云视频云技术团队在GPU虚拟机Windows操作系统之上，增加了虚拟外设驱动层实现在一台虚拟机上部署多个渲染应用的能力，用户通过不同的虚拟外设（音响、显示器、麦克风、摄像头、键盘、鼠标、手柄、触屏）访问同一台虚拟机而不会相互干扰，该技术能有效提高单机资源利用率，一张卡上同时运行多个渲染进程，为云渲染的大规模商业化落地奠定了基础。

同时，降低运营成本的另一个手段是降低“带宽”成本。

阿里云自研的“窄带高清”算法便能实现同等画质下更省流、在同等带宽下更高清的观看体验。传统视频压缩方法主要基于信息理论，从预测结构的角度来减小时域冗余、空间冗余、统计冗余，但视觉冗余挖掘不足。

“窄带高清”算法中的JND(Just Noticeable Difference)和AQ（Adaptive Quantization）正是基于这个思路对视觉冗余进行挖掘，经过空域和时域的特征计算，将图像上存在视觉冗余的部分传到编码器，再由基于MOS的自适应码控算法对QP做自适应的分配，最终达到码率节省30%以上，但主观体验相同的效果，实现质量、码率和成本的最优均衡。